Pipelines de datos en streaming
Diseña, construye y opera pipelines de datos en tiempo real y basados en eventos: conceptos fundamentales (eventos, temas, particiones, grupos de consumidores), mensajería vs streaming, casos de uso comunes, garantías de entrega y exactamente una vez, escalabilidad y compensaciones de latencia. Cubre plataformas y herramientas como Apache Kafka y Pulsar (y comparaciones con RabbitMQ), CDC con Debezium, procesamiento de streams con Kafka Streams/Samza y Streaming SQL, e integraciones para IoT/geoespacial e indexación en tiempo real.
Ordenar por:
24:16
Preguntas de Entrevista sobre Datos en Streaming por Sr. Arquitecto de Datos | Kafka + Spark Streaming + Escenario de Proyecto
Prepárate para tu entrevista de Ingeniería de Datos con la guía definitiva de Preguntas de Entrevista sobre Datos en Streaming Este video cu...
DataBeli•6.7k vistas•Hace 2 meses
4:40:04
End-to-End Spark Streaming Project | Databricks + Kafka + PostgreSQL + Real-Time Dashboard
Learn Spark Structured Streaming by building a complete real-world Data Engineering project from scratch! In this hands-on tutorial, a Sr Da...
DataBeli•44.5k vistas•Hace 3 meses
4:26:16
Proyecto de Ingeniería de Datos de Tráfico en Tiempo Real | Kafka + Spark + Delta Lake
Construí un proyecto completo de ingeniería de datos de tráfico en tiempo real de extremo a extremo utilizando Kafka, PySpark y Delta Lake,....
Data with Jay•7.3k vistas•Hace 6 meses
1:32:33
Tutorial de Procesamiento de Flink en Streaming: Construye un Pipeline en Tiempo Real con Kafka, Redpanda y Python
En este taller, Alexey Grigorev descompone las complejidades de la ingeniería de datos en tiempo real, pasando de consumidores de Kafka basa...
DataTalksClub ⬛•7.9k vistas•Hace 7 meses
3:37:38
Proyecto de Ingeniería de Datos de Comercio Electrónico en Tiempo Real con Kafka
🔥 Proyecto de Ingeniería de Datos de Comercio Electrónico en Tiempo Real utilizando Apache Kafka, Python y Snowflake 🔥 En este video, cons...
Data with Jay•11.2k vistas•Hace 8 meses
22:44
Transmisión de datos en tiempo real desde Kafka a PostgreSQL usando Apache NiFi
En este tutorial de ETL con Apache NiFi, aprenderás a leer datos en streaming desde Apache Kafka y almacenarlos en una base de datos Postgre...
IOT Station•722 vistas•Hace 9 meses
18:35
Transmisión de datos a Databricks usando Lakeflow | Kafka, Kinesis, EventHub | Proyecto de extremo a extremo #1
🚀 En este tutorial práctico, comenzamos un proyecto completo de extremo a extremo en Databricks para un caso de uso de seguros de automóvil...
Thomas Hass•9.0k vistas•Hace 1 años
35:46
Una Guía Completa para la Transmisión en la Plataforma de Inteligencia de Datos
¿Es el procesamiento de flujos el futuro? Así lo creemos, y lo estamos construyendo contigo utilizando las últimas capacidades de Apache Spa...
Databricks•2.9k vistas•Hace 1 años
17:08
Canalización de Datos en Tiempo Real: Kafka a Snowflake usando el conector de Snowflake
En este video, explico cómo construir una canalización de datos en tiempo real que transmite eventos desde Apache Kafka a Snowflake utilizan...
MyDataEngineering•1.2k vistas•Hace 1 años
5:48
🔥 Arquitectura de Datos en Streaming: Construye Sistemas en Tiempo Real con Kafka y Procesamiento de Streams
¡Sumérgete en el mundo de la arquitectura de datos en streaming y aprende a construir sistemas de procesamiento de datos en tiempo real desd...
CodeLucky•2.7k vistas•Hace 1 años
18:33
Tutorial de Kafka para Principiantes | Todo lo que necesitas para empezar
► Hoja de Ruta de DevOps Paso a Paso PDF: https://bit.ly/4jv2qDH Tutorial de Apache Kafka | Todo lo que necesitas saber: ¿Qué es Kafka?, Cas...
TechWorld with Nana•1.4M vistas•Hace 1 años
15:24
Crea un Pipeline de Datos en Streaming con Google Cloud Dataflow: Pub/Sub a BigQuery
Crea un Pipeline de Datos en Streaming con Google Cloud Dataflow: Pub/Sub a BigQuery En este video, aprenderás cómo crear un pipeline de dat...
TechTrapture•30.9k vistas•Hace 1 años
52:39
Pipeline de Datos en Tiempo Real con Apache Kafka y AWS | AWS MSK | Proyecto Práctico de Ingeniería de Datos
Este es un proyecto práctico de ingeniería de datos de extremo a extremo en AWS. En este proyecto hemos demostrado cómo puedes construir un....
AWS Made Easy•23.4k vistas•Hace 1 años
2:41:36
Domina los Pipelines de Datos en Tiempo Real con Kafka y Flink - Curso de 3 horas - DataExpert.io Boot Camp Gratuito
Únete al boot camp gratuito aquí: https://bootcamp.techcreator.io Únete al discord para obtener ayuda aquí: https://discord.gg/dQbZMTBj5q El...
DataExpert•67.9k vistas•Hace 1 años
4:55
Fundamentos de Apache Kafka que Debes Conocer
Obtén un PDF gratuito de Diseño de Sistemas de 158 páginas suscribiéndote a nuestro boletín semanal: https://bit.ly/bbg-social Herramientas....
ByteByteGo•436.4k vistas•Hace 1 años
4:14
La transmisión a Kafka ahora es más fácil con DLT Pipelines
Delta Live Tables ahora te permite escribir datos directamente en temas de Apache Kafka, haciendo que la publicación de datos en tiempo real...
Databricks•5.0k vistas•Hace 1 años
Kafka vs RabbitMQ: La Mejor Cola de Mensajes Explicada
❤️ Obtén un 40% de DESCUENTO en CodeCrafters: https://app.codecrafters.io/join?via=the-coding-gopher ⬆️ La mejor plataforma de codificación....
The Coding Gopher•65.1k vistas•Hace 1 años
5:56
Principales casos de uso de Kafka que deberías conocer
Obtén un PDF gratuito de Diseño de Sistemas de 158 páginas suscribiéndote a nuestro boletín semanal: https://bit.ly/bytebytegoytTopic Herram...
ByteByteGo•150.7k vistas•Hace 2 años
41:32
Entrevista de Ingeniería de Datos - Pipeline de Datos de Clickstream de Netflix
Únete a la lista de espera para el Curso de Entrevista de Ingeniería de Datos de Exponent: https://bit.ly/4cmpq34 En este video, un experto....
Aced (formerly Exponent)•74.1k vistas•Hace 2 años
7:37
Snowflake Snowpipe | Snowpipe Streaming | Conector de Snowflake para Kafka | Ejemplos, Configuración, Demostración
snowpipe en snowflake streaming de snowpipe en snowflake streaming de snowpipe api de streaming de snowpipe snowpipe s3 preguntas de entrevi...
SleekData•11.3k vistas•Hace 2 años
Apache Pulsar: ¿Finalmente una alternativa a Kafka?
Presentado por Julien Jakubowski en OSA Con 2023 Hoy en día, cuando piensas en construir aplicaciones impulsadas por eventos y en tiempo rea...
The Open Source Analytics Community (OSA COM)•2.3k vistas•Hace 2 años
1:25:00
Construyendo un Pipeline de Streaming de Datos en Tiempo Real usando Apache Kafka, Flink y Postgres
🚀 Construyendo un Pipeline de Streaming de Datos en Tiempo Real con Apache Kafka, Flink y Postgres 🚀 En este tutorial completo, ¡únete a n...
ByteCoach•41.5k vistas•Hace 2 años
12:44
Python con integración de Kafka Stream en Tamil
Python con integración de Kafka Stream en Tamil Video en inglés - https://youtu.be/WSPFZAv1ApY Código - https://github.com/sbgowtham/spark/w...
Data Engineering•6.2k vistas•Hace 2 años
1:27:48
Transmisión de Datos en Tiempo Real | Proyecto de Ingeniería de Datos de Extremo a Extremo
En este video, construirás una tubería de transmisión de datos en tiempo real, cubriendo cada fase desde la ingestión de datos hasta el proc...
CodeWithYu•348.4k vistas•Hace 3 años
Descubre el Poder de Streaming SQL con este Tutorial
Streaming SQL se ha convertido en una parte esencial de las soluciones efectivas de procesamiento de datos en tiempo real. Permite a las org...
Jenny Man•495 vistas•Hace 3 años
16:14
Set up Debezium, Apache Kafka and Postgres for real time Data Streaming | Real Time ETL | ETL
In this we are going to kick off the Data Streaming series with PySpark using Kafka. We have covered PySpark basics and developed a batch pr...
BI Insights Inc•42.6k vistas•Hace 3 años
1:19:17
Developer Deskside | Creando aplicaciones con datos de streaming de Kafka en Palantir Foundry
¿Alguna vez has querido construir un flujo de trabajo de extremo a extremo en Foundry y conectarlo a tu propia aplicación usando APIs? En es...
Palantir Developers•7.4k vistas•Hace 3 años
10:25
Obtener datos en Databricks desde Kafka
Prueba Databricks hoy: https://dbricks.co/3EAWLK6 El video demuestra cómo podemos integrar clústeres de Databricks con Kafka y el registro d...
Databricks•38.0k vistas•Hace 3 años
1:04:00
📈 Análisis de Datos en Tiempo Real del Mercado de Valores Usando Kafka | Proyecto de Ingeniería de Datos de Extremo a Extremo
➡️ Consulta mi Bootcamp de Ingeniería de Datos: https://bit.ly/3yXsrcy USA EL CÓDIGO: COMBO50 para un 50% de descuento En este video, ejecut...
Darshil Parmar•441.4k vistas•Hace 3 años
25:44
Configurar un Pipeline de Datos en Streaming para ingerir datos de Kafka a Snowflake con un Productor de Python desde cero
El objetivo de este breve tutorial es poner al espectador en marcha con el Conector de Snowflake para Kafka. La documentación de Snowflake h...
Knowledge Amplifier•20.3k vistas•Hace 4 años
34:14
Relleno de Pipelines de Datos en Streaming en Arquitectura Kappa
Los pipelines de datos en streaming pueden fallar por diversas razones. Dado que los datos de origen, como los temas de Kafka, a menudo tien...
Databricks•8.2k vistas•Hace 4 años
33:22
Spark Kafka Cassandra | Proyecto de Streaming de Extremo a Extremo {தமிழ்}
#SparkStreaming #Kafka #Cassandra | Proyecto de Streaming de Extremo a Extremo Mismo video en inglés - https://youtu.be/wNnTNTVdglM Video de...
Data Engineering•11.0k vistas•Hace 4 años
30:51
Spark Kafka Cassandra | Proyecto de Streaming de Extremo a Extremo
#SparkStreaming #Kafka #Cassandra | Proyecto de Streaming de Extremo a Extremo Video de Instalación de Spark - https://bit.ly/3uCMtV9 Video....
Data Engineering•97.4k vistas•Hace 4 años
3:01
Canales de Datos: Transmitiendo Datos Desde Kafka a Sistemas Externos (Práctico)
https://cnfl.io/data-pipelines-exercise-6 | Este ejercicio muestra cómo transmitir los datos enriquecidos creados anteriormente a Elasticsea...
Confluent, an IBM Company•3.5k vistas•Hace 4 años
3:25
Canales de Datos: Transmitiendo Datos Desde Kafka a Sistemas Externos
https://cnfl.io/data-pipelines-module-6 | En este curso, verás cómo un tema de Apache Kafka® puede ser transmitido a un sistema externo como...
Confluent, an IBM Company•4.5k vistas•Hace 4 años
7:20
Canales de Datos: Usando CDC para Ingestar Datos en Kafka
https://cnfl.io/data-pipelines-module-3 | Usando captura de datos de cambios (CDC), puedes transmitir datos desde una base de datos relacion...
Confluent, an IBM Company•64.5k vistas•Hace 4 años
9:37
Pipelines de Datos: Introducción a los Pipelines de Datos en Streaming
https://cnfl.io/data-pipelines-module1 | En este curso, Tim Berglund (Director Senior de Experiencia del Desarrollador, Confluent) presenta....
Confluent, an IBM Company•50.3k vistas•Hace 4 años
FOSS4G 2021 - Transmisión de datos de sensores IoT con LocationTech GeoMesa, Apache Kafka y NiFi
A medida que aumentan los casos de uso basados en IoT, también ha crecido la necesidad de crear vistas geoespaciales en tiempo real de los d...
FOSS4G•928 vistas•Hace 4 años
La Práctica de Apache Pulsar en Bigo
Impulsados por la tecnología de Inteligencia Artificial, los productos y servicios basados en video de BIGO han ganado una inmensa popularid...
The ASF•208 vistas•Hace 5 años
Actualización Mensual de Pulsar de Julio: Exactly-Once con Transacciones
Bienvenido a la Actualización Mensual de Pulsar de Julio - Exactly-Once con Transacciones. La sesión incluye una actualización del proyecto....
StreamNative•165 vistas•Hace 5 años
Gunnar Morling — Cambia los pipelines de captura de datos con Debezium y Kafka Streams
Más información sobre conferencias de Java: — en primavera — JPoint: https://jrg.su/gTrwHx — en otoño — Joker: https://jrg.su/h7yvG4 — — . ....
JPoint, Joker и JUG ru — Java-конференции•2.5k vistas•Hace 5 años
Apache Pulsar, ¡A Kafka y más allá! -- William McLane
#ApachePulsar #ApacheKafka #TIBCO #PulsarSummit Asia 2020 Apache Kafka se ha convertido en un estándar para el procesamiento de flujos de có...
StreamNative•276 vistas•Hace 5 años
28:43
Apache Kafka y ksqlDB en Acción: ¡Construyamos un Pipeline de Datos en Streaming!
¿Alguna vez has pensado que necesitabas ser programador para hacer procesamiento de streams y construir pipelines de datos en streaming? ¡Pi...
Robin Moffatt•7.7k vistas•Hace 6 años
4:28
IBM InfoSphere DataStage - Ejemplo de datos en streaming con Kafka
Ejemplo simple que muestra datos en streaming con transformación de datos en el diseñador de flujos de DataStage utilizando el conector de K...
IBM C Chan•5.1k vistas•Hace 6 años
47:21
Cómo construir un pipeline de datos en streaming con Apache Kafka y Spark Structured Streaming - PyCon SG 2019
Ponente: Takanori Aoki, Científico de Datos, HOOQ Objetivo: El propósito principal de esta sesión es ayudar a la audiencia a familiarizarse....
PyCon SG•8.4k vistas•Hace 6 años
2:22:11
Construcción de Pipelines de Streaming (Kafka y Spark Structured) usando Databricks
Como parte de este tema, veremos cómo ingerir datos en tiempo real utilizando el ecosistema de Kafka y procesarlos usando Spark Structured S...
itversity•14.6k vistas•Hace 6 años
29:57
Apache Kafka y KSQL en Acción: ¡Construyamos un Pipeline de Datos en Streaming! por Robin Moffatt
¿Alguna vez has pensado que necesitabas ser programador para hacer procesamiento de streams y construir pipelines de datos en streaming? ¡Pi...
Devoxx•50.2k vistas•Hace 7 años
6:27
Demostración de Pipelines de Datos en Streaming - Leer Datos de un Tema de Kafka usando Spark Structured Streaming
Como parte de este tema, desarrollemos la lógica para leer los datos del Tema de Kafka usando spark.readStream y mostrar los resultados de m...
itversity•9.2k vistas•Hace 7 años