Passer de Snowflake à DuckDB : automatisation des pipelines de données avec Dagster, dlt et dbt
Dans cette vidéo, nous démontrons comment passer d'un usage de Snowflake à une base de données mémoire locale DuckDB pour orchestrer des pipelines de données avec dagster, dlt et dbt. Nous couvrons les modifications de configuration nécessaires pour changer d'entrepôt de données et montrons comment automatiser l'ensemble du processus en utilisant dagster. Nous commençons par modifier le code de notre vidéo précédente pour passer de Snowflake à DuckDB et parcourons la configuration nécessaire dans Visual Studio Code. De plus, nous explorons comment planifier des exécutions automatisées de pipelines de données avec dagster. À la fin de la vidéo, vous apprendrez comment effectuer des extractions de données, des transformations et les charger dans DuckDB, garantissant une solution de gestion des données rentable et flexible. Restez à l'écoute pour de futurs tutoriels sur la conteneurisation et le déploiement de ces projets dans Azure.
Dépôt de code
Vidéo précédente
00:00 Introduction et aperçu
01:02 Configuration de l'environnement
03:01 Configuration du pipeline
04:34 Modification des fichiers de configuration
09:44 Exécution du pipeline
11:33 Planification et automatisation
15:34 Conclusion et prochaines étapes