Pipelines de dados em streaming
Projete, construa e opere pipelines de dados em tempo real e orientados a eventos: conceitos fundamentais (eventos, tópicos, partições, grupos de consumidores), mensageria vs streaming, casos de uso comuns, garantias de entrega e exatamente uma vez, escalabilidade e trade-offs de latência. Abrange plataformas e ferramentas como Apache Kafka e Pulsar (e comparações com RabbitMQ), CDC com Debezium, processamento de streams com Kafka Streams/Samza e Streaming SQL, e integrações para IoT/geoespacial e indexação em tempo real.
Ordenar por:
24:16
Streaming Data Interview Questions by Sr Data Architect | Kafka + Spark Streaming + Project Scenerio
Prepare for your Data Engineering interview with the ultimate Streaming Data Interview Guide This video covers the most frequently asked Str...
DataBeli•6.7k visualizações•Há 2 mes
4:40:04
Projeto de Streaming Spark End-to-End | Databricks + Kafka + PostgreSQL + Dashboard em Tempo Real
Aprenda Spark Structured Streaming construindo um projeto completo de Engenharia de Dados do mundo real do zero! Neste tutorial prático, um....
DataBeli•44.5k visualizações•Há 3 mes
4:26:16
Projeto de Engenharia de Dados de Tráfego em Tempo Real | Kafka + Spark + Delta Lake
Eu construí um projeto completo de Engenharia de Dados de Tráfego em Tempo Real de ponta a ponta usando Kafka, PySpark e Delta Lake, Este pr...
Data with Jay•7.3k visualizações•Há 6 mes
1:32:33
Tutorial de Processamento de Stream com PyFlink: Construa um Pipeline em Tempo Real com Kafka, Redpanda e Python
Neste workshop, Alexey Grigorev descomplica as complexidades da engenharia de dados em tempo real, passando de consumidores Kafka baseados e...
DataTalksClub ⬛•7.9k visualizações•Há 7 mes
3:37:38
Projeto de Engenharia de Dados em E-Commerce em Tempo Real com Kafka
🔥 Projeto de Engenharia de Dados em E-Commerce em Tempo Real usando Apache Kafka, Python e Snowflake 🔥 Neste vídeo, eu construo um projeto...
Data with Jay•11.2k visualizações•Há 8 mes
22:44
Transmita Dados em Tempo Real do Kafka para PostgreSQL usando Apache NiFi
Neste tutorial de ETL com Apache NiFi, você aprenderá como ler dados em streaming do Apache Kafka e armazená-los em um banco de dados Postgr...
IOT Station•722 visualizações•Há 9 mes
18:35
Transmitindo Dados para Databricks Usando Lakeflow | Kafka, Kinesis, EventHub | Projeto Completo #1
🚀 Neste tutorial prático, iniciamos um projeto completo do Databricks para um caso de uso de seguro de carro inteligente. Você aprenderá co...
Thomas Hass•9.0k visualizações•Há 1 a
35:46
Um Guia Abrangente para Streaming na Plataforma de Inteligência de Dados
O processamento de stream é o futuro? Nós achamos que sim — e estamos construindo isso com você usando as últimas capacidades do Apache Spar...
Databricks•2.9k visualizações•Há 1 a
17:08
Pipeline de Dados em Tempo Real: Kafka para Snowflake usando o conector do Snowflake
Neste vídeo, eu explico como construir um pipeline de dados em tempo real que transmite eventos do Apache Kafka para o Snowflake usando o Co...
MyDataEngineering•1.2k visualizações•Há 1 a
5:48
🔥 Arquitetura de Dados em Streaming: Construa Sistemas em Tempo Real com Kafka e Processamento de Streams
Mergulhe no mundo da arquitetura de dados em streaming e aprenda a construir sistemas de processamento de dados em tempo real do zero! 🚀 Es...
CodeLucky•2.7k visualizações•Há 1 a
18:33
Tutorial de Kafka para Iniciantes | Tudo que você precisa para começar
► Roteiro de DevOps Passo a Passo PDF: https://bit.ly/4jv2qDH Tutorial de Apache Kafka | Tudo que você precisa saber: O que é Kafka, Casos d...
TechWorld with Nana•1.4M visualizações•Há 1 a
15:24
Crie um Pipeline de Dados em Streaming com Google Cloud Dataflow: Pub/Sub para BigQuery
Crie um Pipeline de Dados em Streaming com Google Cloud Dataflow: Pub/Sub para BigQuery Neste vídeo, você aprenderá como criar um pipeline d...
TechTrapture•30.9k visualizações•Há 1 a
52:39
Pipeline de Dados em Tempo Real com Apache Kafka e AWS | AWS MSK | Projeto Prático de Engenharia de Dados
Este é um projeto prático de engenharia de dados de ponta a ponta na AWS. Neste projeto, demonstramos como você pode construir um pipeline d...
AWS Made Easy•23.4k visualizações•Há 1 a
2:41:36
Domine Pipelines de Dados em Tempo Real com Kafka e Flink - Curso de 3 horas - DataExpert.io Boot Camp Gratuito
Participe do boot camp gratuito aqui: https://bootcamp.techcreator.io Entre no Discord para obter ajuda aqui: https://discord.gg/dQbZMTBj5q....
DataExpert•67.9k visualizações•Há 1 a
4:55
Fundamentos do Apache Kafka que Você Deve Conhecer
Receba um PDF gratuito de Design de Sistemas com 158 páginas ao se inscrever em nosso boletim informativo semanal: https://bit.ly/bbg-social...
ByteByteGo•436.4k visualizações•Há 1 a
4:14
Streaming para Kafka Ficou Mais Fácil com DLT Pipelines
O Delta Live Tables agora permite que você escreva dados diretamente em tópicos do Apache Kafka, tornando a publicação de dados em tempo rea...
Databricks•5.0k visualizações•Há 1 a
Kafka vs RabbitMQ: A Melhor Fila de Mensagens Explicada
❤️ Obtenha 40% de DESCONTO no CodeCrafters: https://app.codecrafters.io/join?via=the-coding-gopher ⬆️ A melhor plataforma de codificação bas...
The Coding Gopher•65.1k visualizações•Há 1 a
5:56
Principais Casos de Uso do Kafka que Você Deve Conhecer
Receba um PDF gratuito de Design de Sistemas com 158 páginas ao se inscrever em nosso boletim informativo semanal: https://bit.ly/bytebytego...
ByteByteGo•150.7k visualizações•Há 2 a
41:32
Entrevista de Engenharia de Dados - Pipeline de Dados Clickstream da Netflix
Junte-se à lista de espera para o Curso de Entrevista de Engenharia de Dados da Exponent: https://bit.ly/4cmpq34 Neste vídeo, um especialist...
Aced (formerly Exponent)•74.1k visualizações•Há 2 a
7:37
Snowflake Snowpipe | Snowpipe Streaming | Conector Snowflake para Kafka | Exemplos, Configuração, Demonstração
snowpipe no snowflake snowpipe streaming snowflake snowpipe streaming api de streaming snowpipe snowpipe s3 perguntas de entrevista sobre sn...
SleekData•11.3k visualizações•Há 2 a
Apache Pulsar: Finalmente uma Alternativa ao Kafka?
Apresentado por Julien Jakubowski na OSA Con 2023 Hoje, quando você pensa em construir aplicações orientadas a eventos e em tempo real, as p...
The Open Source Analytics Community (OSA COM)•2.3k visualizações•Há 2 a
1:25:00
Construindo um Pipeline de Streaming de Dados em Tempo Real usando Apache Kafka, Flink e Postgres
🚀 Construindo um Pipeline de Streaming de Dados em Tempo Real com Apache Kafka, Flink e Postgres 🚀 Neste tutorial abrangente, junte-se a n...
ByteCoach•41.5k visualizações•Há 2 a
12:44
Python com Integração Kafka Stream em Tamil
Python com Integração Kafka Stream em Tamil Vídeo em Inglês - https://youtu.be/WSPFZAv1ApY Código - https://github.com/sbgowtham/spark/wiki/...
Data Engineering•6.2k visualizações•Há 2 a
1:27:48
Streaming de Dados em Tempo Real | Projeto de Engenharia de Dados de Ponta a Ponta
Neste vídeo, você irá construir um pipeline de streaming de dados em tempo real, cobrindo cada fase desde a ingestão de dados até o processa...
CodeWithYu•348.4k visualizações•Há 3 a
Descubra o Poder do Streaming SQL com este Tutorial
O Streaming SQL se tornou uma parte essencial de soluções eficazes de processamento de dados em tempo real. Ele permite que organizações ori...
Jenny Man•495 visualizações•Há 3 a
16:14
Configurar Debezium, Apache Kafka e Postgres para Streaming de Dados em Tempo Real | ETL em Tempo Real | ETL
Neste vídeo, vamos iniciar a série de Streaming de Dados com PySpark usando Kafka. Já cobrimos os conceitos básicos de PySpark e desenvolvem...
BI Insights Inc•42.6k visualizações•Há 3 a
1:19:17
Developer Deskside | Construindo Aplicativos com Dados de Streaming Kafka no Palantir Foundry
Você já quis construir um fluxo de trabalho completo no Foundry e conectá-lo ao seu próprio aplicativo usando APIs? Neste developer deskside...
Palantir Developers•7.4k visualizações•Há 3 a
10:25
Obter dados no Databricks a partir do Kafka
Experimente o Databricks hoje: https://dbricks.co/3EAWLK6 O vídeo demonstra como podemos integrar clusters do Databricks com Kafka e o regis...
Databricks•38.0k visualizações•Há 3 a
1:04:00
📈 Stock Market Real-Time Data Analysis Using Kafka | End-To-End Data Engineering Project
➡️ Check Out My Data Engineering Bootcamp: https://bit.ly/3yXsrcy USE CODE: COMBO50 for a 50% discount In this video, you will execute an En...
Darshil Parmar•441.4k visualizações•Há 3 a
25:44
Configurar Pipeline de Dados em Streaming para ingerir dados do Kafka para o Snowflake com um produtor Python do zero
O objetivo deste breve tutorial é fazer com que o espectador comece a usar o Conector do Snowflake para Kafka. A documentação do Snowflake f...
Knowledge Amplifier•20.3k visualizações•Há 4 a
34:14
Preenchimento de Pipelines de Dados em Streaming na Arquitetura Kappa
Pipelines de dados em streaming podem falhar por várias razões. Como os dados de origem, como tópicos do Kafka, geralmente têm retenção limi...
Databricks•8.2k visualizações•Há 4 a
33:22
Spark Kafka Cassandra | Projeto de Streaming de Ponta a Ponta {தமிழ்}
#SparkStreaming #Kafka #Cassandra | Projeto de Streaming de Ponta a Ponta Mesmo vídeo em inglês - https://youtu.be/wNnTNTVdglM Vídeo de Inst...
Data Engineering•11.0k visualizações•Há 4 a
30:51
Spark Kafka Cassandra | Projeto de Streaming de Ponta a Ponta
#SparkStreaming #Kafka #Cassandra | Projeto de Streaming de Ponta a Ponta Vídeo de Instalação do Spark - https://bit.ly/3uCMtV9 Vídeo de Ins...
Data Engineering•97.4k visualizações•Há 4 a
3:01
Pipelines de Dados: Transmitindo Dados do Kafka para Sistemas Externos (Prático)
https://cnfl.io/data-pipelines-exercise-6 | Este exercício mostra como transmitir os dados enriquecidos criados anteriormente para o Elastic...
Confluent, an IBM Company•3.5k visualizações•Há 4 a
3:25
Pipelines de Dados: Transmitindo Dados do Kafka para Sistemas Externos
https://cnfl.io/data-pipelines-module-6 | Neste curso, você verá como um tópico do Apache Kafka® pode ser transmitido para um sistema extern...
Confluent, an IBM Company•4.5k visualizações•Há 4 a
7:20
Pipelines de Dados: Usando CDC para Ingestão de Dados no Kafka
https://cnfl.io/data-pipelines-module-3 | Usando captura de dados de mudança (CDC), você pode transmitir dados de um banco de dados relacion...
Confluent, an IBM Company•64.5k visualizações•Há 4 a
9:37
Pipelines de Dados: Introdução aos Pipelines de Dados em Streaming
https://cnfl.io/data-pipelines-module1 | Neste curso, Tim Berglund (Diretor Sênior de Experiência do Desenvolvedor, Confluent) apresenta o c...
Confluent, an IBM Company•50.3k visualizações•Há 4 a
FOSS4G 2021 - Streaming de dados de sensores IoT com LocationTech GeoMesa, Apache Kafka e NiFi
À medida que os casos de uso baseados em IoT aumentam, também cresce a necessidade de criar visualizações geoespaciais em tempo real dos dad...
FOSS4G•928 visualizações•Há 4 a
A Prática do Apache Pulsar na BIGO
Impulsionados pela tecnologia de Inteligência Artificial, os produtos e serviços baseados em vídeo da BIGO ganharam imensa popularidade, com...
The ASF•208 visualizações•Há 5 a
Atualização Mensal do Pulsar de Julho: Exactly-Once com Transações
Bem-vindo à Atualização Mensal do Pulsar de Julho - Exactly-Once com Transações. A sessão abrange uma atualização de 10 minutos sobre o proj...
StreamNative•165 visualizações•Há 5 a
Gunnar Morling — Transforme pipelines de captura de dados com Debezium e Kafka Streams
Saiba mais sobre conferências Java: — na primavera — JPoint: https://jrg.su/gTrwHx — no outono — Joker: https://jrg.su/h7yvG4 — — . . . A ca...
JPoint, Joker и JUG ru — Java-конференции•2.5k visualizações•Há 5 a
Apache Pulsar, Para Kafka e Além! -- William McLane
#ApachePulsar #ApacheKafka #TIBCO #PulsarSummit Asia 2020 Apache Kafka se tornou um padrão para processamento de stream de código aberto, ma...
StreamNative•276 visualizações•Há 5 a
28:43
Apache Kafka e ksqlDB em Ação: Vamos Construir um Pipeline de Dados em Streaming!
Você já pensou que precisava ser um programador para fazer processamento de stream e construir pipelines de dados em streaming? Pense novame...
Robin Moffatt•7.7k visualizações•Há 6 a
4:28
IBM InfoSphere DataStage - Exemplo de dados em streaming com Kafka
Exemplo simples demonstrando dados em streaming com transformação de dados no designer de fluxo do DataStage usando o conector Kafka.
IBM C Chan•5.1k visualizações•Há 6 a
47:21
Como construir um pipeline de dados em stream com Apache Kafka e Spark Structured Streaming - PyCon SG 2019
Palestrante: Takanori Aoki, Cientista de Dados, HOOQ Objetivo: O principal objetivo desta sessão é ajudar o público a se familiarizar com o....
PyCon SG•8.4k visualizações•Há 6 a
2:22:11
Construindo Pipelines de Streaming (Kafka e Spark Structured) usando Databricks
Como parte deste tópico, veremos como ingerir dados em tempo real usando o ecossistema Kafka e processá-los usando Spark Structured Streamin...
itversity•14.6k visualizações•Há 6 a
29:57
Apache Kafka e KSQL em Ação: Vamos Construir um Pipeline de Dados em Streaming! por Robin Moffatt
Você já pensou que precisava ser um programador para fazer processamento de streams e construir pipelines de dados em streaming? Pense novam...
Devoxx•50.2k visualizações•Há 7 a
6:27
Demonstração de Pipelines de Dados em Streaming - Ler Dados do Tópico Kafka usando Spark Structured Streaming
Como parte deste tópico, vamos desenvolver a lógica para ler os dados do Tópico Kafka usando spark.readStream e imprimir os resultados de fo...
itversity•9.2k visualizações•Há 7 a