En este video instructivo, exploramos cómo usar Dagster para automatizar y orquestar tu pipeline de datos. Demostramos la extracción y carga de datos en Snowflake utilizando DLT y su transformación con DBT. Anteriormente, este proceso se realizaba manualmente, pero con la ayuda de Dagster, automatizamos la programación y activación de trabajos basados en dependencias. El video sirve como una demostración que introduce conceptos y pasos clave involucrados en la configuración y ejecución de un proyecto de orquestación con Dagster. Acompáñanos mientras configuramos activos, trabajos, horarios y sensores, y observa cómo todo el pipeline de datos cobra vida en la interfaz de usuario de Dagster.
Repositorio de código
Video anterior
#dagster #dlt #dataengineering #dbt
00:00 Introducción a Dagster y visión general del video
00:19 Proceso manual vs. automatización con dagster
01:08 Futuros videos de Dagster y enfoque de la demostración
01:38 Teoría y explicación del código
02:31 Introducción a los conceptos básicos de Dagster
04:35 Configuración simplificada de Dagster
05:37 Comprendiendo activos, trabajos y horarios
07:14 Configurando el entorno de desarrollo
09:37 Modificando el script de DLT para Dagster
13:44 Transformación de datos con DBT
15:47 Conectando DBT a Dagster
20:13 Configurando Dagster para la orquestación
25:18 Introducción a la carga de DLT
26:12 Comprendiendo la inyección de dependencias en Dagster
28:05 Configurando el directorio del proyecto DBT
29:38 Creando instancia del proyecto DBT
30:40 Ejecutando comandos de DBT CLI
32:37 Creando activos de DBT
34:33 Definiendo trabajos y horarios
40:36 Lanzando servicios de Dagster
41:59 Explorando el servidor web de Dagster
43:06 Visualizando la línea de tiempo de datos en Dagster
44:11 Materializando datos en Snowflake
48:20 Conclusión y futuros videos