Datenorchestrierung ist ein zentrales Element jeder Batch-Datenverarbeitungsplattform, und wir haben Muster verwendet, die sich seit den 1980er Jahren nicht geändert haben. In diesem Vortrag werde ich ein neues Muster und eine neue Denkweise für die Datenorchestrierung vorstellen, die als asset-basierte Orchestrierung bekannt ist, mit Datenfrische-Sensoren zur Auslösung von Pipelines. In dieser Sitzung werden wir dieses neue Muster mit beliebten Tools des modernen Datenstacks - dbt, Airbyte, Dagster und Databricks - demonstrieren.
Vortrag von: Sandy Ryza
Hier gibt es mehr zu entdecken: