Neste vídeo, vamos iniciar a série de Streaming de Dados com PySpark usando Kafka. Já cobrimos os conceitos básicos de PySpark e desenvolvemos um pipeline de processamento em lote na sessão anterior, link na descrição abaixo. Hoje, vamos configurar o Apache Kafka, Debezium e Postgres para Streaming de Dados. Assim que a configuração estiver completa, desenvolveremos um Produtor e um Consumidor Kafka para testar o Streaming de Dados. Configure seu ambiente agora e prepare-se para o Streaming de Dados!
Inicializar permissões de replicação
Adicione as seguintes linhas ao final do arquivo de configuração pg_hba.conf do PostgreSQL. Essas linhas configuram a autenticação do cliente para a replicação do banco de dados.
############ REPLICAÇÃO ##############
local replication postgres trust
host replication postgres 127.0.0.1/32 trust
host replication postgres ::1/128 trust
#apachekafka #StreamingDeDados #etl
💥Inscreva-se no nosso canal:
📌 Links
-----------------------------------------
#️⃣ Siga-me nas redes sociais! #️⃣
-----------------------------------------
Tópicos abordados neste vídeo:
0:00 - Introdução ao Apache Kafka, Debezium e requisitos
1:36 - Replicação Lógica do Postgres
2:43 - Visão Geral da Configuração do Docker
3:57 - Configuração do Postgres
6:27- Configuração do Docker do Kafka e Debezium
10:27 - UI do Kafka Manager e Criação de Tópicos
12:14 - Produtor e Consumidor Kafka em Python
15:03 - Interação com o Console do Kafka