Dagster ist ein deklarativer, asset-basierter Orchestrator, der unsere Denkweise über das Management von Workflows neu definiert. In diesem Video lernen wir die Funktionen von Dagster kennen, einschließlich Assets, Ressourcen, Jobs, Zeitpläne, Partitionen und mehr. Wir werden dies tun, indem wir ein End-to-End-Projekt von Grund auf mit Dagster, dem Datenlade-Tool (dlt) und Snowflake erstellen. Ich bin super aufgeregt darüber. Ich hoffe, du lernst etwas Neues!
Zeitstempel ⏰
0:00 - Einführung
1:45 - Systemdesign
6:30 - Dagster und Datenlade-Tool (dlt) einrichten
21:40 - Wie man Assets definiert
40:08 - Ressourcen, Code-Refactoring
43:22 - Zeitpläne und Jobs
48:42 - Backfill DAGs mit Partitionen
54:39 - Sensoren und Automatisierungsrichtlinien
1:09:31 - Abschließende Gedanken
Wer bin ich? 🙋🏻♂️
Ich bin Jay, ich liebe es, Videos über Reisen, Selbsthilfe und Technik zu machen. Ich arbeite derzeit in New York City als Dateningenieur, bin aber in Malaysia aufgewachsen und habe im Alter von 19 Jahren im Vereinigten Königreich gelebt. Damals hatte ich keine Ahnung, worum es im Leben ging, ich zog an so viele Orte und navigierte in der Tech-Branche. Heute habe ich viel gelernt und möchte meine Perspektive durch Filmemachen teilen.
Soziale Medien 📱
Abonnentenzahl: 11.390