Streaming SQL se ha convertido en una parte esencial de las soluciones efectivas de procesamiento de datos en tiempo real. Permite a las organizaciones impulsadas por datos analizar y actuar sobre datos en streaming y identificar rápidamente el valor en nuevos datos. Usando streaming SQL, las organizaciones pueden adoptar rápidamente una arquitectura de datos moderna y crear pipelines de datos en streaming para satisfacer sus necesidades comerciales.
0:00 Introducción
0:07 ¿Qué es Streaming SQL?
0:35 Diferencia con SQL
2:05 Casos de Uso
2:32 Escenario del Tutorial
2:50 Comienza el Tutorial de Flujo
3:22 GitPod
6:35 Validación
📝 Consulta mi artículo en profundidad sobre Streaming SQL:
🍺 Si has aprendido algo nuevo de este video, cómprame un café para apoyar este canal =)
===============================================================================
En los últimos años, el enorme crecimiento en los volúmenes de datos y la creciente necesidad de análisis de datos en tiempo real han hecho de SQL un componente crucial de la gestión de datos y la analítica empresarial.
Sin embargo, las soluciones SQL tradicionales que operan sobre datos almacenados en bases de datos no pueden soportar efectivamente los requisitos de procesamiento de datos en tiempo real.
Como resultado, hay una necesidad de un nuevo tipo de SQL que pueda procesar flujos de datos continuos. Aquí es donde entra en juego streaming SQL.
Antes de profundizar, examinemos qué queremos decir exactamente con “streaming” en este contexto.
"Streaming" se refiere al manejo de datos como un flujo continuo de eventos o mensajes a través de brokers de mensajes como Kafka, Gazette, Amazon Kinesis o Apache Pulsar.
Estos flujos de eventos pueden incluir varios tipos de datos, desde acciones de usuarios en sitios web o aplicaciones móviles, datos de sensores IoT y métricas de servidores hasta actividades tradicionales de bases de datos capturadas usando captura de datos de cambios (CDC).
SQL tradicional se ejecuta en bases de datos mientras que streaming SQL se ejecuta en flujos de datos en vivo. Ejecutar SQL en bases de datos devuelve un conjunto estático de resultados de un único punto en el tiempo. Por otro lado, con streaming SQL podrías ejecutar la misma consulta SQL en un flujo de datos en tiempo real y obtener una respuesta en un momento específico.
En resumen, streaming SQL está diseñado para procesar subconjuntos de datos rápidamente y entregar resultados en tiempo real.
Streaming SQL puede transformar, filtrar, agregar y enriquecer datos en vuelo, convirtiéndolo en una herramienta poderosa para que las organizaciones extraigan el máximo valor de los datos que fluyen constantemente.
Además, streaming SQL puede trabajar con una amplia gama de fuentes de datos y entornos, desde plataformas de nube pública hasta Kafka, Hadoop, NoSQL y bases de datos relacionales.
#sql #datos #dataengineering #datapipeline