Nick Schrock erläutert die Prinzipien und die Herkunft von Dagster. Dagster ist eine neue Art von Workflow-Engine: ein Datenorchestrator. Über die bloße Verwaltung der Reihenfolge und physischen Ausführung von Datenberechnungen hinaus betrachtet Dagster den gesamten Lebenszyklus von Datenanwendungen. Praktiker in Dagster erstellen datenbewusste Abhängigkeitsgraphen, die für die lokale Entwicklung und das Testen konzipiert sind; setzen diese Graphen in einer Multi-Tenant, cloud-nativen Orchestrierungs-Engine ein; und überwachen und beobachten dann die durch diese Berechnungen erzeugten Datenressourcen.
In diesem Vortrag diskutiert Nick, wie sich Dagster in den drei Phasen (Entwicklung & Test, Bereitstellung & Ausführung, Überwachung & Beobachtung) des Anwendungslebenszyklus differenziert. Durch eine Demo und Code-Snippets zeigt der Vortrag, wie die Dagit-Web-UI und das Dagster-Programmiermodell eine Vielzahl von Datenpraktikern unterstützen können.
Verwandtes Video:
#daten #dataengineering #airflow #prefect #cloudnative #cloudcomputing #cloud #grundlagenvdesdataengineering
-------------------------
Über Nick Schrock
Nick Schrock ist der Gründer und CEO von Elementl, dem Unternehmen hinter Dagster. Zuvor arbeitete Nick bei Facebook, wo er GraphQL mitentwickelte. Nick glaubt fest an die Kraft gut gestalteter Entwicklerwerkzeuge, um Ingenieure produktiver zu machen, ihre Karrieren zu beschleunigen, ihr Leben angenehmer zu gestalten und die Organisationen, in denen sie arbeiten, zu transformieren.