Apache Kafka et ksqlDB en action : Construisons un pipeline de données en streaming !

Avez-vous déjà pensé qu'il fallait être programmeur pour faire du traitement de flux et construire des pipelines de données en streaming ? Détrompez-vous ! Apache Kafka est une plateforme de streaming distribuée, évolutive et tolérante aux pannes, offrant une messagerie pub-sub à faible latence couplée à des capacités de stockage et de traitement de flux natives. L'intégration de Kafka avec des bases de données relationnelles, NoSQL et des magasins d'objets est simple avec Kafka Connect, qui fait partie d'Apache Kafka. ksqlDB est la base de données de streaming d'événements pour Apache Kafka, et permet de construire des applications de traitement de flux à grande échelle, écrites en utilisant une interface SQL familière.

Dans cette présentation, nous expliquerons le raisonnement architectural derrière Apache Kafka et les avantages de l'intégration en temps réel, et nous construirons un pipeline de données en streaming en utilisant uniquement nos mains, Kafka Connect et ksqlDB.

Étonnez-vous en filtrant des événements en temps réel ! Soyez émerveillé par la façon dont nous pouvons enrichir des flux de données avec des données provenant de bases de données relationnelles ! Soyez stupéfait par la puissance des agrégats de streaming pour la détection d'anomalies !

👾 Essayez par vous-même : https://github.com/confluentinc/demo-scene/tree/master/build-a-streaming-pipeline

--

🎓 Ressources

👾 Essayez par vous-même : https://github.com/confluentinc/demo-scene/tree/master/build-a-streaming-pipeline

📔 Diapositives : http://talks.rmoff.net/tkl4a1/apache-kafka-and-ksqldb-in-action-lets-build-a-streaming-data-pipeline

🎥 Introduction à ksqlDB : https://rmoff.dev/ksqldb-introduction

🎥 Streaming de données de Kafka vers Elasticsearch : https://rmoff.dev/kafka-elasticsearch-video

--

☁️ Confluent Cloud ☁️

Confluent Cloud est un service géré d'Apache Kafka et de la plateforme Confluent. Il s'adapte à zéro et vous permet de commencer avec Apache Kafka d'un simple clic. Vous pouvez vous inscrire sur https://confluent.cloud/signup?utm_source=youtube&utm_medium=rmoff&utm_campaign=ty.community.con.rmoff_youtube_2fUOi9wJPhk&utm_term=rmoff-devx et utiliser le code 60DEVADV pour 60 $ de réduction sur votre facture (petite note : https://www.confluent.io/confluent-cloud-promo-disclaimer/)