Avez-vous déjà pensé qu'il fallait être programmeur pour faire du traitement de flux et construire des pipelines de données en streaming ? Détrompez-vous ! Apache Kafka est une plateforme de streaming distribuée, évolutive et tolérante aux pannes, offrant une messagerie pub-sub à faible latence associée à des capacités de stockage et de traitement de flux natives. L'intégration de Kafka avec des RDBMS, NoSQL et des magasins d'objets est simple avec Kafka Connect, qui fait partie d'Apache Kafka. KSQL est un moteur de streaming SQL pour Apache Kafka, et permet de construire des applications de traitement de flux à grande échelle, écrites en utilisant une interface SQL familière.
Dans cette présentation, nous expliquerons le raisonnement architectural derrière Apache Kafka et les avantages de l'intégration en temps réel, et nous construirons un pipeline de données en streaming en utilisant uniquement nos mains, Kafka Connect et KSQL.
Émerveillez-vous en filtrant des événements en temps réel ! Soyez impressionné par la façon dont nous pouvons enrichir des flux de données avec des données provenant de RDBMS ! Soyez stupéfait par la puissance des agrégats de streaming pour la détection d'anomalies !