📬 Inscrivez-vous à notre newsletter pour ne pas manquer les mises à jour sur la prochaine Crunch Data Conference :
http://eepurl.com/dGwi1fNous vous présentons Dagster, une bibliothèque Python open source pour construire des processus ETL, des pipelines ML et des systèmes logiciels similaires, que nous appelons toutes des applications de données.
Les applications de données sont des graphes de calculs fonctionnels qui consomment et produisent des actifs de données. Dagster fournit des abstractions et des outils pour modéliser la sémantique de ces applications en offrant un système de types unifié, un graphe de dépendance des données, un système de configuration, une API structurée pour émettre des événements tels que des tests de qualité des données et des matérialisations, ainsi que des outils de développement de haute qualité construits sur ces abstractions. Les développeurs peuvent utiliser les outils qu'ils connaissent -- par exemple, des tâches Spark pour les ingénieurs de données, des instructions SQL pour les analystes, Python pour les data scientists -- et l'application peut être déployée sur des moteurs d'orchestration arbitraires -- tels que Airflow, Dask ou une exécution basée sur Kubernetes -- de manière modulaire. - Capturé en direct sur Ustream à
https://www.ustream.tv/channel/JUMjvCF2ucj