L'orchestration des données est un élément central de toute plateforme de traitement de données par lots et nous avons utilisé des modèles qui n'ont pas changé depuis les années 1980. Dans cette présentation, je vais introduire un nouveau modèle et une nouvelle façon de penser pour l'orchestration des données, connue sous le nom d'orchestration basée sur les actifs, avec des capteurs de fraîcheur des données pour déclencher des pipelines. Dans cette session, nous allons démontrer ce nouveau modèle en utilisant des outils populaires de la pile de données moderne - dbt, Airbyte, Dagster et Databricks.
Présentation par : Sandy Ryza
Voici plus à explorer :