In diesem Anleitungsvideo zeigen wir, wie man Dagster verwendet, um seine Datenpipeline zu automatisieren und zu orchestrieren. Wir demonstrieren das Extrahieren und Laden von Daten in Snowflake mit DLT und deren Transformation mit DBT. Zuvor wurde dieser Prozess manuell durchgeführt, aber mit Hilfe von Dagster automatisieren wir die Planung und das Auslösen von Jobs basierend auf Abhängigkeiten. Das Video dient als Demo, die die grundlegenden Konzepte und Schritte zur Einrichtung und Ausführung eines Dagster-Orchestrierungsprojekts vorstellt. Folgen Sie uns, während wir Assets, Jobs, Zeitpläne und Sensoren einrichten und die gesamte Datenpipeline in der Dagster-Benutzeroberfläche zum Leben erwecken.
Code-Repo
Vorheriges Video
#dagster #dlt #dataengineering #dbt
00:00 Einführung in Dagster und Videoübersicht
00:19 Manueller Prozess vs. Dagster-Automatisierung
01:08 Zukünftige Dagster-Videos und Demo-Fokus
01:38 Theorie und Code-Erklärung
02:31 Einführung in die Kernkonzepte von Dagster
04:35 Vereinfachte Dagster-Einrichtung
05:37 Verständnis von Assets, Jobs und Zeitplänen
07:14 Einrichtung der Entwicklungsumgebung
09:37 Modifizierung des DLT-Skripts für Dagster
13:44 Datenumwandlung mit DBT
15:47 Verbindung von DBT mit Dagster
20:13 Konfiguration von Dagster für Orchestrierung
25:18 Einführung in DLT-Load
26:12 Verständnis der Dependency Injection in Dagster
28:05 Einrichtung des DBT-Projektverzeichnisses
29:38 Erstellung einer DBT-Projektinstanz
30:40 Ausführen von DBT-CLI-Befehlen
32:37 Erstellung von DBT-Assets
34:33 Definition von Jobs und Zeitplänen
40:36 Starten der Dagster-Dienste
41:59 Erkundung des Dagster-Webservers
43:06 Anzeige der Datenherkunft in Dagster
44:11 Materialisierung von Daten in Snowflake
48:20 Fazit und zukünftige Videos