O Streaming SQL se tornou uma parte essencial de soluções eficazes de processamento de dados em tempo real. Ele permite que organizações orientadas a dados analisem e atuem sobre dados em streaming e identifiquem rapidamente o valor em novos dados. Usando o streaming SQL, as organizações podem adotar rapidamente uma arquitetura de dados moderna e criar pipelines de dados em streaming para atender às suas necessidades de negócios.
0:00 Introdução
0:07 O que é Streaming SQL
0:35 Diferença em relação ao SQL
2:05 Casos de Uso
2:32 Cenário do Tutorial
2:50 Início do Tutorial de Fluxo
3:22 GitPod
6:35 Validação
📝 Confira meu artigo aprofundado sobre Streaming SQL:
🍺 Se você aprendeu algo novo com este vídeo, compre-me um café para apoiar este canal =)
===============================================================================
Nos últimos anos, o enorme crescimento nos volumes de dados e a crescente necessidade de análise de dados em tempo real tornaram o SQL um componente crucial da gestão de dados e da análise de negócios.
No entanto, soluções tradicionais de SQL que operam em dados armazenados em bancos de dados não conseguem atender efetivamente aos requisitos de processamento de dados em tempo real.
Como resultado, há uma necessidade de um novo tipo de SQL que possa processar fluxos contínuos de dados. É aqui que o streaming SQL entra em cena.
Antes de nos aprofundarmos, vamos examinar o que exatamente queremos dizer com “streaming” neste contexto.
"Streaming" refere-se ao manuseio de dados como um fluxo contínuo de eventos ou mensagens através de brokers de mensagens como Kafka, Gazette, Amazon Kinesis ou Apache Pulsar.
Esses fluxos de eventos podem incluir vários tipos de dados, desde ações de usuários em sites ou aplicativos móveis, dados de sensores IoT e métricas de servidores até atividades tradicionais de bancos de dados capturadas usando captura de dados de mudança (CDC).
O SQL tradicional roda em bancos de dados enquanto o streaming SQL roda em fluxos de dados ao vivo. Executar SQL em bancos de dados retorna um conjunto estático de resultados de um único ponto no tempo. Por outro lado, com o streaming SQL, você pode executar a mesma consulta SQL em um fluxo de dados em tempo real e obter uma resposta em um ponto no tempo.
Em resumo, o streaming SQL é projetado para processar subconjuntos de dados rapidamente e entregar resultados em tempo real.
O streaming SQL pode transformar, filtrar, agregar e enriquecer dados em movimento, tornando-se uma ferramenta poderosa para as organizações extraírem o máximo valor de dados que estão constantemente em streaming.
Além disso, o streaming SQL pode trabalhar com uma ampla gama de fontes de dados e ambientes, desde plataformas de nuvem pública até Kafka, Hadoop, NoSQL e bancos de dados relacionais.
#sql #dados #engenhariadedados #pipeline