Il s'agit d'un projet pratique complet en ingénierie des données sur AWS.
Dans ce projet, nous avons démontré comment vous pouvez construire une pipeline de streaming de données en temps réel sur AWS en utilisant Apache Kafka.
Apprenez à tirer parti de la puissance de Kafka et d'AWS pour créer des pipelines de données en temps réel performants.
Nous avons utilisé des services AWS tels que RDS, MSK, S3 pour construire cette pipeline. Les sujets suivants sont abordés dans cette vidéo :
1. Vue d'ensemble de l'architecture de la pipeline
2. Explication de Kafka Connect
3. Comment créer un cluster MSK
4. Comment créer des connecteurs source et sink pour Kafka Connect
Cela peut être un très bon projet pour les personnes qui souhaitent construire quelque chose en utilisant Apache Kafka et comprendre les bases de l'ingénierie des données et des pipelines d'ingestion de données.
#apachekafka #dataengineering #awsprojects