Avez-vous déjà pensé qu'il fallait être programmeur pour faire du traitement de flux et construire des pipelines de données en streaming ? Détrompez-vous ! Apache Kafka est une plateforme de streaming distribuée, évolutive et tolérante aux pannes, offrant une messagerie pub-sub à faible latence couplée à des capacités de stockage et de traitement de flux natives. L'intégration de Kafka avec des RDBMS, NoSQL et des magasins d'objets est simple avec Kafka Connect, qui fait partie d'Apache Kafka. KSQL est le moteur de streaming SQL open-source pour Apache Kafka, et permet de construire des applications de traitement de flux à grande échelle, écrites en utilisant une interface SQL familière.
Dans cette présentation, nous expliquerons le raisonnement architectural derrière Apache Kafka et les avantages de l'intégration en temps réel, et nous construirons un pipeline de données en streaming en utilisant uniquement nos mains nues, Kafka Connect et KSQL.
Émerveillez-vous alors que nous filtrons des événements en temps réel ! Soyez impressionné par la façon dont nous pouvons enrichir des flux de données avec des données provenant de RDBMS ! Soyez stupéfait par la puissance des agrégats de streaming pour la détection d'anomalies !
Robin Moffatt
De Confluent
Robin est un Developer Advocate chez Confluent, la société fondée par les créateurs d'Apache Kafka, ainsi qu'un Oracle ACE Director et Developer Champion. Sa carrière a toujours été liée aux données, des anciens mondes de COBOL et DB2, à travers les mondes d'Oracle et Hadoop, jusqu'au monde actuel avec Kafka. Ses intérêts particuliers sont l'analyse, l'architecture des systèmes, les tests de performance et l'optimisation. Il blogue à l'adresse
http://cnfl.io/rmoff et
http://rmoff.net/ (et précédemment
http://ritt.md/rmoff) et on peut le trouver en train de tweeter des pensées de geek grincheux sous le pseudo @rmoff. En dehors du travail, il aime boire de la bonne bière et manger des petits déjeuners frits, bien que généralement pas en même temps.