Construí un proyecto completo de ingeniería de datos de tráfico en tiempo real de extremo a extremo utilizando Kafka, PySpark y Delta Lake,
Este proyecto simula un pipeline de datos en streaming del mundo real donde los datos de tráfico se generan, procesan, limpian y transforman continuamente en conjuntos de datos listos para análisis para inteligencia empresarial y creación de dashboards.
Esto no es una demostración básica.
Este es un proyecto de ingeniería de datos estilo producción que demuestra cómo se diseñan e implementan los pipelines en tiempo real modernos utilizando herramientas estándar de la industria.
Cada paso se construye desde cero: desde la ingesta de datos hasta la transformación y la capa final de análisis.
Sin relleno. Sin atajos. Solo ingeniería de datos real.
🚀 Lo que aprenderás en este proyecto
En este proyecto de ingeniería de datos en tiempo real de extremo a extremo, aprenderás:
• Construir un pipeline de streaming en tiempo real utilizando Apache Kafka
• Procesar datos en streaming con PySpark Structured Streaming
• Diseñar Arquitectura Medallón (Bronce, Plata, Oro)
• Manejar datos sucios y poco fiables del mundo real
• Técnicas de limpieza, validación y deduplicación de datos
• Trabajar con Delta Lake para almacenamiento fiable y escalable
• Implementar controles de calidad de datos en pipelines de streaming
• Ingeniería de características para análisis
• Diseñar Esquema Estrella (tablas de Hechos y Dimensiones)
• Crear conjuntos de datos listos para BI
• Conectar pipelines de datos a Power BI para creación de dashboards
• Estructurar flujos de trabajo de ingeniería de datos estilo producción
Todos los conceptos se demuestran con datos de streaming reales, no ejemplos estáticos.
🧰 Stack Tecnológico y Herramientas Utilizadas
Apache Kafka
Apache Spark / PySpark
Delta Lake
Hive Metastore
Power BI
📊 Aspectos Destacados del Proyecto
• Pipeline de ingeniería de datos en tiempo real completo
• Ingesta y procesamiento de datos en streaming
• Simulación y manejo de datos sucios
• Capa de calidad y validación de datos
• Arquitectura lakehouse escalable
• Modelado de esquema estrella para análisis
• Conjuntos de datos listos para BI para creación de dashboards
• Diseño de proyecto orientado a producción
📂 Repositorio del Proyecto
🕒 Tiempos
0:00 Introducción
0:42 Introducción al Proyecto
2:10 Resumen de la Arquitectura
8:00 Configuración de Infraestructura
38:00 Configuración de la Fuente de Datos
1:14:31 Transformación Bronce
2:05:48 Transformación Plata
2:51:16 Transformación Oro
3:25:42 Inicialización del Hive Meta store
3:51:40 Conexión a Power BI
4:00:48 Creación de Dashboard
📣 Conectemos
🎯 Hashtags
#IngenieríaDeDatos
#DatosEnTiempoReal
#Kafka
#Spark
#DeltaLake
#PySpark
#DatosEnStreaming
#BigData
#PowerBI
#PipelineDeDatos
#ETL
#Lakehouse