Neste vídeo, revisitaremos o Dagster. Vamos falar sobre as mudanças neste sistema de orquestração de workflows devido a atualizações recentes (atualização da versão 0.15 para 1.3.1)
O Dagster é um orquestrador projetado para desenvolver e manter ativos de dados, como tabelas, conjuntos de dados, modelos de aprendizado de máquina e relatórios.
Abordaremos Ativos Definidos por Software, já que o Dagster está avançando em direção a esses ativos. Por padrão, as saídas do nosso pipeline são armazenadas como um arquivo pickle na pasta home do Dagster. E se quisermos armazenar as saídas em uma tabela de banco de dados ou em um arquivo legível, como um arquivo csv ou parquet? O Dagster nos fornece gerenciadores de entrada e saída (gerenciadores de IO) que permitem ler e gravar dados em sistemas de armazenamento. Usando os gerenciadores de IO de armazenamento, podemos salvar as saídas em um sistema de arquivos ou armazenar nossos dados como tabelas em um banco de dados. Vamos definir gerenciadores de IO para arquivos csv/parquet e banco de dados.
Comece com o Dagster em apenas três passos rápidos:
Instale o Dagster, defina ativos e materialize ativos.
Crie um ambiente virtual: python -m venv env
Ative o ambiente virtual: env\Scripts\activate
Para instalar o Dagster em um ambiente Python existente, execute:
pip install dagster dagit
Comando para criar um novo projeto
dagster project scaffold --name meu-projeto-dagster
Bibliotecas adicionais necessárias: Pandas, psycopg2
Para executar o Dagster, emita o seguinte comando:
dagit
dagster-daemon run
💥Inscreva-se no nosso canal:
📌 Links
-----------------------------------------
#️⃣ Siga-me nas redes sociais! #️⃣
-----------------------------------------
#Python #ETL #Dagster
Tópicos abordados neste vídeo:
==================================
0:00 - Introdução ao Dagster
2:11 - Criar novo projeto no Dagster
3:03 - Estrutura do Projeto Dagster
4:18 - Ativos Definidos por Software
5:35 - Instalar Bibliotecas Necessárias
5:58 - Conexão com o Banco de Dados de Origem
6:27 - Ativo de Origem
10:05 - Gerenciador de IO de Arquivo
14:16 - Segundo Ativo
16:19 - Gerenciador de IO Parquet
16:26 - Gerenciador de IO de Banco de Dados
19:05 - Materializar Ativos