Este é um projeto prático de engenharia de dados de ponta a ponta na AWS.
Neste projeto, demonstramos como você pode construir um pipeline de streaming de dados em tempo real na AWS usando Apache Kafka.
Aprenda a aproveitar o poder do Kafka e da AWS para construir pipelines de dados em tempo real poderosos.
Utilizamos serviços da AWS como RDS, MSK e S3 para construir este pipeline. Os seguintes tópicos são abordados neste vídeo:
1. Visão geral da arquitetura do pipeline
2. Explicação do Kafka Connect
3. Como criar um cluster MSK
4. Como criar conectores de origem e destino do Kafka Connect
Este pode ser um ótimo projeto para pessoas que desejam construir algo usando Apache Kafka e entender os fundamentos da Engenharia de Dados e Pipelines de Ingestão de Dados.
#apachekafka #engenhariadedados #projetosaws