Dans cette vidéo, vous allez construire un pipeline de streaming de données en temps réel, couvrant chaque phase de l'ingestion des données au traitement et enfin au stockage. Nous utiliserons une puissante pile d'outils et de technologies, y compris Apache Airflow, Python, Apache Kafka, Apache Zookeeper, Apache Spark et Cassandra — le tout soigneusement conteneurisé avec Docker.
📚 Ce que vous apprendrez :
👉 Configurer un pipeline de données avec Apache Airflow
👉 Streaming de données avec Kafka et Kafka Connect
👉 Utiliser Zookeeper pour la synchronisation distribuée
👉 Traitement des données avec Apache Spark
👉 Solutions de stockage de données avec Cassandra et PostgreSQL
👉 Conteneuriser votre environnement d'ingénierie des données avec Docker
✨ Horodatages : ✨
0:00 Introduction
0:53 Architecture système
3:47 Récupération des données depuis l'API avec Airflow
17:10 Docker Compose pour l'architecture
26:09 Streaming de données dans Kafka
44:29 Configuration d'Apache Spark et Cassandra
49:33 Streaming de données dans Cassandra
1:27:05 Conclusion
🌟 Merci de LIKER ❤️ et de vous ABONNER pour plus de contenu INCROYABLE ! 🌟
🔗 Liens et ressources utiles :
✨ Tags ✨
Ingénierie des données, Apache Airflow, Kafka, Apache Spark, Cassandra, PostgreSQL, Zookeeper, Docker, Docker Compose, Pipeline ETL, Pipeline de données, Big Data, Streaming de données, Analytique en temps réel, Kafka Connect, Spark Master, Spark Worker, Schema Registry, Control Center, Streaming de données
✨ Hashtags ✨
#confluent #IngénierieDesDonnées #ApacheAirflow #Kafka #ApacheSpark #Cassandra #PostgreSQL #Docker #ETLPipeline #DataPipeline #StreamingData #RealTimeAnalytics