En este video, construirás una tubería de transmisión de datos en tiempo real, cubriendo cada fase desde la ingestión de datos hasta el procesamiento y finalmente el almacenamiento. Utilizaremos un potente conjunto de herramientas y tecnologías, incluyendo Apache Airflow, Python, Apache Kafka, Apache Zookeeper, Apache Spark y Cassandra, todo perfectamente containerizado usando Docker.
📚 Lo que aprenderás:
👉 Configuración de una tubería de datos con Apache Airflow
👉 Transmisión de datos con Kafka y Kafka Connect
👉 Uso de Zookeeper para sincronización distribuida
👉 Procesamiento de datos con Apache Spark
👉 Soluciones de almacenamiento de datos con Cassandra y PostgreSQL
👉 Containerización de tu entorno de ingeniería de datos con Docker
✨ Tiempos: ✨
0:00 Introducción
0:53 Arquitectura del sistema
3:47 Obteniendo datos de la API con Airflow
17:10 Docker Compose para la arquitectura
26:09 Transmitiendo datos a Kafka
44:29 Configuración de Apache Spark y Cassandra
49:33 Transmitiendo datos a Cassandra
1:27:05 Despedida
🌟 ¡Por favor, DA LIKE ❤️ y SUSCRÍBETE para más contenido INCREÍBLE! 🌟
🔗 Enlaces y Recursos Útiles:
✨ Etiquetas ✨
Ingeniería de Datos, Apache Airflow, Kafka, Apache Spark, Cassandra, PostgreSQL, Zookeeper, Docker, Docker Compose, ETL Pipeline, Data Pipeline, Big Data, Streaming Data, Análisis en Tiempo Real, Kafka Connect, Spark Master, Spark Worker, Schema Registry, Control Center, Transmisión de Datos
✨ Hashtags ✨
#confluent #IngenieríaDeDatos #ApacheAirflow #Kafka #ApacheSpark #Cassandra #PostgreSQL #Docker #ETLPipeline #DataPipeline #StreamingData #AnálisisEnTiempoReal