Le Streaming SQL est devenu une partie essentielle des solutions efficaces de traitement de données en temps réel. Il permet aux organisations axées sur les données d'analyser et d'agir sur des données en streaming et d'identifier rapidement la valeur des nouvelles données. Grâce au Streaming SQL, les organisations peuvent rapidement adopter une architecture de données moderne et créer des pipelines de données en streaming pour répondre à leurs besoins commerciaux.
0:00 Introduction
0:07 Qu'est-ce que le Streaming SQL
0:35 Différence avec SQL
2:05 Cas d'utilisation
2:32 Scénario du tutoriel
2:50 Début du tutoriel Flow
3:22 GitPod
6:35 Validation
📝 Consultez mon article approfondi sur le Streaming SQL :
🍺 Si vous avez appris quelque chose de nouveau grâce à cette vidéo, offrez-moi un café pour soutenir cette chaîne =)
===============================================================================
Ces dernières années, la croissance énorme des volumes de données et le besoin croissant d'analyse de données en temps réel ont fait du SQL un composant crucial de la gestion des données et de l'analyse commerciale.
Cependant, les solutions SQL traditionnelles qui fonctionnent sur des données stockées dans des bases de données ne peuvent pas efficacement soutenir les exigences de traitement de données en temps réel.
En conséquence, il y a un besoin d'un nouveau type de SQL capable de traiter des flux de données continus. C'est là que le Streaming SQL entre en jeu.
Avant d'approfondir, examinons ce que nous entendons exactement par « streaming » dans ce contexte.
Le « streaming » fait référence à la gestion des données comme un flux continu d'événements ou de messages à travers des brokers de messages tels que Kafka, Gazette, Amazon Kinesis ou Apache Pulsar.
Ces flux d'événements peuvent inclure divers types de données, des actions des utilisateurs sur des sites web ou des applications mobiles, des données de capteurs IoT et des métriques de serveur aux activités de bases de données traditionnelles capturées à l'aide de la capture de données de changement (CDC).
Le SQL traditionnel fonctionne sur des bases de données tandis que le Streaming SQL fonctionne sur des flux de données en direct. Exécuter du SQL sur des bases de données renvoie un ensemble statique de résultats à partir d'un seul point dans le temps. En revanche, avec le Streaming SQL, vous pouvez exécuter la même requête SQL sur un flux de données en temps réel et obtenir une réponse à un instant donné.
En résumé, le Streaming SQL est conçu pour traiter rapidement des sous-ensembles de données et fournir des résultats en temps réel.
Le Streaming SQL peut transformer, filtrer, agréger et enrichir les données en vol, ce qui en fait un outil puissant pour les organisations afin d'extraire un maximum de valeur des données en streaming en permanence.
De plus, le Streaming SQL peut fonctionner avec une large gamme de sources de données et d'environnements, des plateformes cloud publiques à Kafka, Hadoop, NoSQL et bases de données relationnelles.
#sql #données #dataengineering #datapipeline