🙏 Trete unserem Kanal bei, um Zugang zu Vorteilen zu erhalten:
☕️ 𝗚𝗲𝗻𝗲𝗿𝗲 𝗺𝗶𝗿 𝗲𝗶𝗻𝗲𝗻 𝗖𝗼𝗳𝗳𝗲𝗲:
Um den Kanal zu unterstützen und neue Videos zu fördern, ziehe bitte in Betracht, hier einen Kaffee zu kaufen:
In diesem Video tauchen wir in Dagster für die Orchestrierung von Python-Aufgaben und Datenengineering ein. Wir werden die grundlegenden Dagster-Konzepte betrachten, einschließlich Assets, Definitions, Dagster UI, Zeitpläne und Jobs.
📌 𝗖𝗵𝗮𝗽𝘁𝗲𝗿:
00:00 Einführung
01:11 Überblick über Datenpipeline & DAG
01:52 Installation von Dagster mit uv
03:41 Definieren von Dagster Asset
05:10 Definitions-Objekt
07:59 Beispiel aus der Praxis mit Polars & DuckDB
08:58 Fahrzeugdatensatz
09:41 Dagster-Asset zum Herunterladen der CSV-Datei
13:24 Aggregierte Daten in die DuckDB-Datenbank laden
20:10 Jobs in Dagster planen
26:20 Sensoren in Dagster
𝗦𝗼𝗰𝗶𝗮𝗹 𝗠𝗲𝗱𝗶𝗮:
📚 𝗘𝗶𝗻𝗲𝗻 𝗯𝗲𝗶𝘁𝗿𝗮𝗴𝗲𝗻𝗱𝗲𝗻 𝗟𝗲𝘀𝗲𝗻 𝗮𝗻𝗱 𝗜𝗻𝗳𝗼𝗿𝗺𝗮𝘁𝗶𝗼𝗻:
#dagster #datenengineering #python