Aprenda Spark Structured Streaming construindo um projeto completo de Engenharia de Dados do mundo real do zero!
Neste tutorial prático, um Arquiteto de Dados Sênior irá construir um pipeline de dados em streaming de ponta a ponta usando a Edição Gratuita do Databricks, Confluent Kafka, PostgreSQL e Spark Structured Streaming. Você aprenderá tanto a implementação quanto a teoria por trás do processamento de dados em tempo real.
Este projeto é ideal para:
✅ Engenheiros de Dados
✅ Desenvolvedores Spark
✅ Aprendizes de Databricks
✅ Iniciantes em Kafka
✅ Preparação para Entrevistas
✅ Qualquer pessoa que deseja construir um projeto para portfólio
📌 O que você vai aprender
00:00 Introdução
02:23 O que é Processamento de Stream
05:11 FinGuard - Caso de Uso de Detecção de Fraude
08:04 Arquitetura Geral do Projeto
11:50 Arquitetura do Kafka
19:36 Configuração do Confluent Kafka
27:17 Configuração do Produtor Kafka
32:29 Spark - Conexão de dados Kafka
51:27 Spark Streaming - Consumo de dados Kafka
57:42 Spark Streaming - Tipos de Trigger
01:08:41 Configuração do Secret Scope
01:18:41 Conexão do Kafka Lakeflow Spark Declarative Pipeline
01:34:40 Transações em streaming - carregar bronze para prata
01:57:50 Configuração do Postgres SQL
02:02:20 Ingestão de dados históricos do Postgres usando Lakeflow Connect
02:11:40 Dados do cliente - ingestão de bronze para prata
02:28:32 Junção Stream-Estática
02:45:42 Configuração da senha do aplicativo Gmail SMTP
02:53:24 Alerta em tempo real usando pipeline SDP
03:09:10 Configuração de arquivos JSON em streaming
03:15:17 Ingestão de arquivos em streaming usando Auto Loader
03:23:15 SDP - Carregar arquivos em streaming da fonte para bronze
03:32:25 lista de vigilância de fraudes - carga de bronze para prata
03:39:24 Processamento de stream Stateless vs Stateful
03:43:15 Usando watermark em streaming
03:47:13 Junção Stream Stream
03:55:44 Alerta por e-mail para lista de vigilância de fraudes
04:05:32 Tipos de janelas em dados de streaming
04:08:46 Agregações em Dados de Streaming
04:20:34 Fluxo de Dados de Streaming End to End
04:25:01 Dashboard com atualização de dados quase em tempo real
04:33:45 Orquestração End to End com jobs Lakeflow
04:38:00 Conclusão
Tudo que foi usado neste projeto está disponível para que você possa construir o projeto por conta própria.
📌 Repositório GitHub
📌 Documento PDF Completo do Projeto
📌 Apresentação em PowerPoint (PPT)
📌 Código de Cupom Confluent Kafka:
👉CONFLUENTDEV1
Projeto de Engenharia de Dados de Varejo na Edição Gratuita do Databricks
Projeto de Engenharia de Dados End-to-End no Domínio Financeiro Orientado a Metadados
Curso de Modelagem de Dados E2E
Se este vídeo te ajudar, inscreva-se no DataBeli para mais tutoriais práticos de Engenharia de Dados, Databricks, Spark, IA e Azure.
#Databricks #SparkStreaming #ApacheSpark #Kafka #ConfluentKafka #StructuredStreaming #DataEngineering #BigData #Azure #PySpark #Streaming #PostgreSQL #Lakehouse #RealTimeAnalytics #FraudDetection