Dans cette vidéo, nous allons lancer la série sur le Data Streaming avec PySpark en utilisant Kafka. Nous avons couvert les bases de PySpark et développé un pipeline de traitement par lots lors de la session précédente, lien dans la description ci-dessous. Aujourd'hui, nous allons configurer Apache Kafka, Debezium et Postgres pour le Data Streaming. Une fois la configuration terminée, nous développerons un producteur et un consommateur Kafka pour tester le Data Streaming. Configurez votre environnement maintenant et préparez-vous pour le Data Streaming !
Initialiser les permissions de réplication
Ajoutez les lignes suivantes à la fin du fichier de configuration pg_hba.conf de PostgreSQL. Ces lignes configurent l'authentification du client pour la réplication de la base de données.
############ RÉPLICATION ##############
local replication postgres trust
host replication postgres 127.0.0.1/32 trust
host replication postgres ::1/128 trust
#apachekafka #DataStreaming #etl
💥Abonnez-vous à notre chaîne :
📌 Liens
-----------------------------------------
#️⃣ Suivez-moi sur les réseaux sociaux ! #️⃣
-----------------------------------------
Sujets abordés dans cette vidéo :
0:00 - Introduction à Apache Kafka, Debezium et exigences
1:36 - Réplication logique de Postgres
2:43 - Vue d'ensemble de la configuration Docker
3:57 - Configuration de Postgres
6:27 - Configuration Docker de Kafka et Debezium
10:27 - Interface utilisateur de Kafka Manager et création de sujet
12:14 - Producteur et consommateur Kafka en Python
15:03 - Interaction avec la console Kafka