Neste vídeo instrucional, exploramos como usar o Dagster para automatizar e orquestrar seu pipeline de dados. Demonstramos a extração e carregamento de dados no Snowflake usando DLT e a transformação usando DBT. Anteriormente, esse processo era feito manualmente, mas com a ajuda do Dagster, automatizamos o agendamento e a ativação de jobs com base em dependências. O vídeo serve como uma demonstração que introduz conceitos e etapas fundamentais envolvidos na configuração e execução de um projeto de orquestração com Dagster. Acompanhe enquanto configuramos ativos, jobs, agendamentos e sensores, e assista todo o pipeline de dados ganhar vida na interface do Dagster.
Repositório de código
Vídeo anterior
#dagster #dlt #engenhariadedados #dbt
00:00 Introdução ao Dagster e Visão Geral do Vídeo
00:19 Processo Manual vs. Automação com Dagster
01:08 Futuros Vídeos sobre Dagster e Foco na Demonstração
01:38 Teoria e Explicação do Código
02:31 Introdução aos Conceitos Fundamentais do Dagster
04:35 Configuração Simplificada do Dagster
05:37 Compreendendo Ativos, Jobs e Agendamentos
07:14 Configurando o Ambiente de Desenvolvimento
09:37 Modificando o Script DLT para Dagster
13:44 Transformação de Dados com DBT
15:47 Conectando DBT ao Dagster
20:13 Configurando o Dagster para Orquestração
25:18 Introdução ao Carregamento DLT
26:12 Compreendendo Injeção de Dependência no Dagster
28:05 Configurando o Diretório do Projeto DBT
29:38 Criando Instância do Projeto DBT
30:40 Executando Comandos CLI do DBT
32:37 Criando Ativos DBT
34:33 Definindo Jobs e Agendamentos
40:36 Iniciando Serviços do Dagster
41:59 Explorando o Servidor Web do Dagster
43:06 Visualizando Linhagem de Dados no Dagster
44:11 Materializando Dados no Snowflake
48:20 Conclusão e Futuros Vídeos