Crie uma conta para usar a IA

Crie uma conta gratuita para desbloquear todos os recursos:

Faça perguntas sobre vídeos com IA
Use a busca inteligente (IA)
Salve seus vídeos favoritos
Marque suas categorias favoritas
Organize suas subcategorias favoritas
Acesse sua página de favoritos personalizada
Acesse o histórico das suas conversas
Personalize sua página inicial com seus favoritos

Já tem uma conta? Entrar

Dagster - Orquestração de Dados e Pipelines com Python e DAGs

BugBytes

🙏 Junte-se ao nosso canal para ter acesso a benefícios:

https://www.youtube.com/channel/UCTwxaBjziKfy6y_uWu30orA/join

☕️ 𝗖𝗼𝗺𝗽𝗿𝗲 𝗺𝗲 𝘂𝗺 𝗰𝗼𝗳𝗳𝗲𝗲:

Para apoiar o canal e incentivar novos vídeos, considere comprar um café aqui:

https://ko-fi.com/bugbytes

Neste vídeo, vamos explorar o Dagster para orquestração de tarefas em Python e engenharia de dados. Vamos analisar os conceitos principais do Dagster, incluindo Ativos, Definições, Interface do Dagster, Agendas e Trabalhos.

📌 𝗖𝗮𝗽𝗶𝘁𝘂𝗹𝗼𝘀:

00:00 Introdução

01:11 Visão geral de Pipeline de Dados e DAG

01:52 Instalando o Dagster com uv

03:41 Definindo Ativo do Dagster

05:10 Objeto de Definições

07:59 Exemplo do Mundo Real com Polars e DuckDB

08:58 Conjunto de dados de carros

09:41 Ativo do Dagster para baixar arquivo CSV

13:24 Carregando dados agregados no banco de dados DuckDB

20:10 Agendando trabalhos no Dagster

26:20 Sensores no Dagster

𝗣𝗮𝗴𝗶𝗻𝗮𝘀 𝗱𝗲 𝗦𝗼𝗰𝗶𝗮𝗹:

📖 Blog: https://bugbytes.io/posts/

👾 Github: https://github.com/bugbytes-io/

📚 𝗟𝗲𝗶𝘁𝘂𝗿𝗮 𝗱𝗲 𝗮𝗽𝗼𝗶𝗼 𝗲 𝗶𝗻𝗳𝗼𝗿𝗺𝗮ç𝗼:

Docker: https://www.docker.com/

Postgres DockerHub: https://hub.docker.com/_/postgres

#dagster #engenhariadedados #python

Dagster - Orquestração de Dados e Pipelines com Python e DAGs | Knoovi