Dans cette vidéo, nous intégrons Dagster dans notre projet de prédiction des risques de détérioration et de minimisation des déchets de bout en bout pour construire un pipeline ETL prêt pour la production.
Maîtrisez les bases du tutoriel Dagster pour gérer des workflows ETL complexes. Apprenez à orchestrer efficacement des pipelines de données au sein de Google Cloud.
Ce guide se concentre sur l'application pratique de Dagster pour les équipes d'ingénierie des données. Nous parcourons le processus de configuration, l'intégration du code et l'exécution du pipeline. Si vous construisez des pipelines de données et avez besoin d'un outil central pour la gestion des tâches, cette présentation fournit la base technique pour votre infrastructure.
En suivant ce guide, vous verrez comment tirer parti de Dagster pour maintenir la visibilité et le contrôle sur la gestion de votre workflow ETL. Nous démontrons comment connecter votre logique existante à l'environnement Google Cloud, garantissant que vos pipelines d'ingénierie des données fonctionnent de manière fiable. Cette approche simplifie les complexités souvent rencontrées dans l'orchestration de données basée sur le cloud.
Abonnez-vous pour des décompositions hebdomadaires en ingénierie des données et commentez quel outil d'orchestration vous souhaitez voir couvert ensuite.