Crie uma conta para usar a IA

Crie uma conta gratuita para desbloquear todos os recursos:

Faça perguntas sobre vídeos com IA
Use a busca inteligente (IA)
Salve seus vídeos favoritos
Marque suas categorias favoritas
Organize suas subcategorias favoritas
Acesse sua página de favoritos personalizada
Acesse o histórico das suas conversas
Personalize sua página inicial com seus favoritos

Já tem uma conta? Entrar

Streaming de Dados em Tempo Real | Projeto de Engenharia de Dados de Ponta a Ponta

Name: Streaming de Dados em Tempo Real | Projeto de Engenharia de Dados de Ponta a Ponta
Uploaded: 2023-09-06T09:28:13+00:00
Duration: 1 h 27 min 48 s

CodeWithYu

Neste vídeo, você irá construir um pipeline de streaming de dados em tempo real, cobrindo cada fase desde a ingestão de dados até o processamento e, finalmente, o armazenamento. Vamos utilizar um poderoso conjunto de ferramentas e tecnologias, incluindo Apache Airflow, Python, Apache Kafka, Apache Zookeeper, Apache Spark e Cassandra—tudo organizado em contêineres usando Docker.

MAIS CURSOS GRATUITOS: https://datamasterylab.com

📚 O que você vai aprender:

👉 Configurando um pipeline de dados com Apache Airflow

👉 Streaming de dados com Kafka e Kafka Connect

👉 Usando Zookeeper para sincronização distribuída

👉 Processamento de dados com Apache Spark

👉 Soluções de armazenamento de dados com Cassandra e PostgreSQL

👉 Contêinerizando seu ambiente de engenharia de dados com Docker

✨ Marcação de Tempo: ✨

0:00 Introdução

0:53 Arquitetura do sistema

3:47 Obtendo dados da API com Airflow

17:10 Docker Compose para a arquitetura

26:09 Streaming de dados para o Kafka

44:29 Configuração do Apache Spark e Cassandra

49:33 Streaming de dados para o Cassandra

1:27:05 Encerramento

👦🏻 Meu Linkedin: https://www.linkedin.com/in/yusuf-ganiyu-b90140107/

🚀 Twitter: https://twitter.com/YusufOGaniyu

📝 Medium: https://medium.com/@yusuf.ganiyu

🌟 Por favor, CURTA ❤️ e INSCREVA-SE para mais conteúdos INCRÍVEIS! 🌟

Gostou deste vídeo? Me compre um café ❤️ https://www.buymeacoffee.com/yusuf.ganiyu/

🔗 Links e Recursos Úteis:

✅ Código: https://github.com/airscholar/e2e-data-engineering.git

✅ Artigo no Medium: https://medium.com/@yusuf.ganiyu/realtime-data-engineering-project-with-airflow-kafka-spark-cassandra-and-postgres-804bcd963974

✅ Documentação do Docker Compose: https://docs.docker.com/compose/

✅ Site Oficial do Apache Kafka: https://kafka.apache.org/

✅ Site Oficial do Apache Spark: https://spark.apache.org/

✅ Site Oficial do Apache Airflow: https://airflow.apache.org/

✅ Cassandra: https://cassandra.apache.org/

✅ Documentação Confluent: https://docs.confluent.io/home/overview.html

✨ Tags ✨

Engenharia de Dados, Apache Airflow, Kafka, Apache Spark, Cassandra, PostgreSQL, Zookeeper, Docker, Docker Compose, Pipeline ETL, Pipeline de Dados, Big Data, Streaming de Dados, Análise em Tempo Real, Kafka Connect, Spark Master, Spark Worker, Schema Registry, Control Center, Streaming de Dados

✨ Hashtags ✨

#confluent #EngenhariaDeDados #ApacheAirflow #Kafka #ApacheSpark #Cassandra #PostgreSQL #Docker #PipelineETL #PipelineDeDados #StreamingDeDados #AnaliseEmTempoReal