Crie um Pipeline de Dados em Streaming com Google Cloud Dataflow: Pub/Sub para BigQuery
Neste vídeo, você aprenderá como criar um pipeline de dados em streaming usando o Google Cloud Dataflow para processar dados em tempo real do Pub/Sub e carregá-los no BigQuery para análise.
O que você aprenderá:
Introdução aos Pipelines de Streaming:
Entenda os conceitos básicos de dados em streaming e sua importância na análise em tempo real.
Benefícios de usar o Dataflow para processamento de dados em streaming.
Construindo um Pipeline de Streaming:
Transmitindo dados para o Pub/Sub usando um script em Python para esta demonstração.
Configurando o Pub/Sub como a fonte de dados.
Configurando o pipeline do Dataflow para processar e transformar os dados.
Carregando dados em tempo real no BigQuery.
Implantando e Monitorando o Trabalho:
Executando seu pipeline de streaming no Dataflow.
Monitorando métricas em tempo real e solucionando problemas comuns.
Ao final deste tutorial, você terá um pipeline de dados em streaming totalmente funcional que processa mensagens em tempo real do Pub/Sub (geradas usando um script em Python) e as armazena no BigQuery, permitindo análises dinâmicas e em tempo real.
Projetos Práticos de Engenharia de Dados
Playlist
Aprenda Google Cloud em 2025
Projetos Práticos de Engenharia de Dados
Quer entrar em contato?
Envie-me uma mensagem para vishal.bulbule@techtrapture.com
Linkedin
Blog no Medium
Github
Código Fonte
💬 Junte-se à Nossa Comunidade no WhatsApp para Discussões e Atualizações:
#googlecloud #aprendagooglecloud #computacaonuvem #video #videoviral #gcp #organizacao #projetogcp #tutorialgooglecloudplatform #tutorialgcp #genai #kubernetes #techtrapture