En este taller, Alexey Grigorev descompone las complejidades de la ingeniería de datos en tiempo real, pasando de consumidores de Kafka basados en Python a pipelines de Apache Flink de nivel empresarial. Este taller, parte del Data Engineering Zoomcamp, ofrece una mirada práctica sobre cómo manejar datos de alta velocidad, eventos fuera de orden y agregaciones con estado.
Aprenderás sobre:
- Kafka vs. Red Panda: Entiende por qué Red Panda es una alternativa más rápida y sencilla a Kafka para los desarrolladores.
- Productor y Consumidor: Aprende a convertir datos de Python en bytes transmitibles y a leerlos de nuevo.
- Integración de Bases de Datos: Cómo mover datos de un stream en vivo a una base de datos PostgreSQL permanente.
- Fundamentos de Flink: Aprende cómo los Job Managers (el cerebro) y los Task Managers (el músculo) ejecutan trabajos de streaming.
- Manejo de Datos Tardíos: Usa Watermarks para gestionar eventos que llegan tarde o fuera de orden.
- Ventanas de Tiempo: Agrupa datos en bloques de tiempo (como "cada 5 minutos") para calcular totales en tiempo real.
Enlaces:
CÓDIGOS DE TIEMPO:
00:00 Introducción al Taller y Contexto del Curso
01:34 Encontrando los Materiales del Taller y Enlaces del Curso
03:01 Resumen de la Stack de Streaming: Kafka, Redpanda y Flink
04:56 Créditos, Cambios en el Taller y Plan de Configuración del Entorno
06:32 Creando un Repositorio y Lanzando Codespaces
10:18 Configuración del Proyecto en Python con UV
13:09 Iniciando Redpanda y Definiendo Roles de Productor y Consumidor
15:37 Cargando Datos de Taxis y Modelando Eventos de Viaje
23:48 Construyendo un Productor de Kafka y Enviando Eventos JSON
27:16 Creando un Consumidor y Limpiando la Lógica de Serialización
40:02 Transmitiendo Muchos Eventos y Escribiéndolos en Postgres
48:41 Por qué Flink para Procesamiento en Streaming
52:46 Arquitectura de Flink y Configuración de Docker
01:03:24 Primer Trabajo de Flink: Passthrough de Kafka a Postgres
01:11:30 De Passthrough a Agregaciones en Tiempo Real
01:14:50 Generando Eventos en Tiempo Real y Tardíos
01:18:58 Agregaciones de Ventanas y Watermarks en Flink
01:28:57 Conclusión, Discusión sobre Watermarks y Cierre
Conéctate con DataTalks.Club:
Conéctate con Alexey
Consulta nuestros cursos gratuitos en línea:
👋🏼 Soporte/inquiries
Si eres una empresa, contáctanos en alexey@datatalks.club
#apacheflink #kafka #redpanda #python #dataengineering #streaming #postgresql #docker #pyflink #realtimeanalytics #bigdata #softwareengineering #codespaces #datapipelines #streamprocessing #eventdriven #coding #techworkshop #learninginpublic #datatalksclub