Cambio de Snowflake a DuckDB: Automatizando canalizaciones de datos con Dagster, dlt y dbt
En este video, demostramos cómo hacer la transición de usar Snowflake a una base de datos en memoria local DuckDB para orquestar canalizaciones de datos con dagster, dlt y dbt. Cubrimos los cambios de configuración necesarios para cambiar de almacenes de datos y mostramos cómo automatizar todo el proceso utilizando dagster. Comenzamos modificando el código de nuestro video anterior para apuntar de Snowflake a DuckDB y explicamos cómo configurar las configuraciones necesarias en Visual Studio Code. Además, exploramos cómo programar ejecuciones automatizadas de canalizaciones de datos con dagster. Al final del video, aprenderás a realizar extracciones de datos, transformaciones y cargarlos en DuckDB, asegurando una solución de gestión de datos rentable y flexible. Mantente atento a futuros tutoriales sobre cómo contenerizar y desplegar estos proyectos en Azure.
Repositorio de código
Video anterior
00:00 Introducción y Visión General
01:02 Configurando el Entorno
03:01 Configurando la Canalización
04:34 Modificando Archivos de Configuración
09:44 Ejecutando la Canalización
11:33 Programación y Automatización
15:34 Conclusión y Próximos Pasos