Nick Schrock aborde les principes et l'origine de Dagster. Dagster est un nouveau type de moteur de workflow : un orchestrateur de données. Allant au-delà de la simple gestion de l'ordre et de l'exécution physique des calculs de données, Dagster prend en compte l'ensemble du cycle de vie des applications de données. Les praticiens de Dagster construisent des graphes de dépendance sensibles aux données conçus pour le développement et les tests locaux ; déploient ces graphes sur un moteur d'orchestration cloud-native multi-tenant ; puis surveillent et observent les actifs de données produits par ces calculs.
Dans cette présentation, Nick discute de la manière dont Dagster se différencie à travers les trois étapes (développement & test, déploiement & exécution, surveillance & observation) du cycle de vie de l'application. À travers une démonstration et des extraits de code, la présentation montre comment l'interface web Dagit et le modèle de programmation Dagster peuvent alimenter une variété de praticiens des données.
Vidéo associée :
#données #ingénieriedonnées #airflow #prefect #cloudnative #cloudcomputing #cloud #fondamentauxdel'ingénieriedonnées
-------------------------
À propos de Nick Schrock
Nick Schrock est le fondateur et PDG d'Elementl, la société derrière Dagster. Auparavant, Nick a travaillé chez Facebook, où il a co-créé GraphQL. Nick croit profondément au pouvoir des outils de développement bien conçus pour rendre les ingénieurs plus productifs, accélérer leurs carrières, rendre leur vie plus agréable et transformer les organisations dans lesquelles ils travaillent.