Dans cette vidéo didactique, nous explorons comment utiliser Dagster pour automatiser et orchestrer votre pipeline de données. Nous démontrons l'extraction et le chargement de données dans Snowflake en utilisant DLT et leur transformation avec DBT. Auparavant, ce processus était effectué manuellement, mais avec l'aide de Dagster, nous automatisons la planification et le déclenchement des tâches en fonction des dépendances. La vidéo sert de démonstration qui introduit les concepts clés et les étapes impliquées dans la configuration et l'exécution d'un projet d'orchestration Dagster. Suivez-nous alors que nous configurons des actifs, des tâches, des horaires et des capteurs, et regardez l'ensemble du pipeline de données prendre vie dans l'interface utilisateur de Dagster.
Dépôt de code
Vidéo précédente
#dagster #dlt #dataengineering #dbt
00:00 Introduction à Dagster et aperçu de la vidéo
00:19 Processus manuel vs. automatisation Dagster
01:08 Futures vidéos Dagster et focus sur la démonstration
01:38 Théorie et explication du code
02:31 Introduction aux concepts fondamentaux de Dagster
04:35 Configuration simplifiée de Dagster
05:37 Compréhension des actifs, des tâches et des horaires
07:14 Configuration de l'environnement de développement
09:37 Modification du script DLT pour Dagster
13:44 Transformation des données avec DBT
15:47 Connexion de DBT à Dagster
20:13 Configuration de Dagster pour l'orchestration
25:18 Introduction au chargement DLT
26:12 Compréhension de l'injection de dépendances dans Dagster
28:05 Configuration du répertoire du projet DBT
29:38 Création d'une instance de projet DBT
30:40 Exécution des commandes CLI DBT
32:37 Création d'actifs DBT
34:33 Définition des tâches et des horaires
40:36 Lancement des services Dagster
41:59 Exploration du serveur web Dagster
43:06 Visualisation de la lignée des données dans Dagster
44:11 Matérialisation des données dans Snowflake
48:20 Conclusion et futures vidéos