Mudando de Snowflake para DuckDB: Automatizando Pipelines de Dados com Dagster, dlt e dbt
Neste vídeo, demonstramos como fazer a transição de usar Snowflake para um banco de dados local em memória DuckDB para orquestrar pipelines de dados com dagster, dlt e dbt. Abordamos as mudanças de configuração necessárias para trocar de armazéns de dados e mostramos como automatizar todo o processo usando dagster. Começamos modificando o código do nosso vídeo anterior para apontar de Snowflake para DuckDB e passamos pela configuração necessária no Visual Studio Code. Além disso, exploramos como agendar execuções automatizadas de pipelines de dados com dagster. Ao final do vídeo, você aprenderá como executar extrações de dados, transformações e carregá-los no DuckDB, garantindo uma solução de gerenciamento de dados econômica e flexível. Fique ligado para futuros tutoriais sobre como containerizar e implantar esses projetos no Azure.
Repositório de código
Vídeo anterior
00:00 Introdução e Visão Geral
01:02 Configurando o Ambiente
03:01 Configurando o Pipeline
04:34 Modificando Arquivos de Configuração
09:44 Executando o Pipeline
11:33 Agendamento e Automação
15:34 Conclusão e Próximos Passos