Neste workshop, Alexey Grigorev descomplica as complexidades da engenharia de dados em tempo real, passando de consumidores Kafka baseados em Python para pipelines Apache Flink de nível empresarial. Este workshop, parte do Data Engineering Zoomcamp, oferece uma visão prática de como lidar com dados de alta velocidade, eventos fora de ordem e agregações com estado.
Você aprenderá sobre:
- Kafka vs. Red Panda: Entenda por que o Red Panda é uma alternativa mais rápida e simples ao Kafka para desenvolvedores.
- Produtor & Consumidor: Aprenda a transformar dados em Python em bytes transmitíveis e a lê-los de volta.
- Integração com Banco de Dados: Como mover dados de um stream ao vivo para um banco de dados PostgreSQL permanente.
- Fundamentos do Flink: Aprenda como os Job Managers (o cérebro) e os Task Managers (o músculo) executam trabalhos de streaming.
- Tratamento de Dados Tardios: Use Watermarks para gerenciar eventos que chegam atrasados ou fora de ordem.
- Janelas de Tempo: Agrupe dados em blocos de tempo (como "a cada 5 minutos") para calcular totais em tempo real.
Links:
CÓDIGOS DE TEMPO:
00:00 Introdução ao Workshop e Contexto do Curso
01:34 Encontrando os Materiais do Workshop e Links do Curso
03:01 Visão Geral da Stack de Streaming: Kafka, Redpanda e Flink
04:56 Créditos, Mudanças no Workshop e Plano de Configuração do Ambiente
06:32 Criando um Repositório e Iniciando Codespaces
10:18 Configuração do Projeto Python com UV
13:09 Iniciando o Redpanda e Definindo Papéis de Produtor e Consumidor
15:37 Carregando Dados de Táxi e Modelando Eventos de Corrida
23:48 Construindo um Produtor Kafka e Enviando Eventos JSON
27:16 Criando um Consumidor e Limpando a Lógica de Serialização
40:02 Transmitindo Muitos Eventos e Gravando-os no Postgres
48:41 Por que Flink para Processamento de Stream
52:46 Arquitetura do Flink e Configuração do Docker
01:03:24 Primeiro Trabalho Flink: Passagem do Kafka para Postgres
01:11:30 Da Passagem para Agregações em Tempo Real
01:14:50 Gerando Eventos em Tempo Real e Tardios
01:18:58 Agregações de Janelas e Watermarks no Flink
01:28:57 Conclusão, Discussão sobre Watermark e Encerramento
Conecte-se com o DataTalks.Club:
Conecte-se com Alexey
Confira nossos cursos online gratuitos:
👋🏼 Suporte/inquéritos
Se você é uma empresa, entre em contato conosco pelo e-mail alexey@datatalks.club
#apacheflink #kafka #redpanda #python #engenhariadedados #streaming #postgresql #docker #pyflink #analiticasemtempo real #bigdata #engenhariadesoftware #codespaces #datapipelines #processamentodeeventos #eventdriven #programacao #workshoptecnologico #aprendendoempublico #datatalksclub