Dies ist ein praktisches End-to-End Data Engineering Projekt auf AWS.
In diesem Projekt haben wir demonstriert, wie man eine Echtzeit-Datenstreaming-Pipeline auf AWS mit Apache Kafka aufbaut.
Lerne, wie du die Leistungsfähigkeit von Kafka und AWS nutzen kannst, um leistungsstarke Echtzeit-Datenpipelines zu erstellen.
Wir haben AWS-Dienste wie RDS, MSK, S3 genutzt, um diese Pipeline zu erstellen. Die folgenden Themen werden in diesem Video behandelt:
1. Überblick über die Pipeline-Architektur
2. Erklärung von Kafka Connect
3. Wie man ein MSK-Cluster erstellt
4. Wie man Kafka Connect-Quell- und Senken-Connectoren erstellt
Dies kann ein sehr gutes Projekt für Personen sein, die etwas mit Apache Kafka aufbauen und die Grundlagen des Data Engineering und der Datenaufnahme-Pipelines verstehen möchten.
#apachekafka #dataengineering #awsprojects