Apache Kafka und ksqlDB in Aktion: Lass uns eine Streaming-Datenpipeline bauen!

Hast du jemals gedacht, dass du ein Programmierer sein musst, um Stream-Verarbeitung zu machen und Streaming-Datenpipelines zu bauen? Denk nochmal nach! Apache Kafka ist eine verteilte, skalierbare und fehlertolerante Streaming-Plattform, die latenzfreie Pub-Sub-Nachrichten mit nativer Speicherung und Stream-Verarbeitungsfunktionen kombiniert. Die Integration von Kafka mit RDBMS, NoSQL und Objektspeichern ist einfach mit Kafka Connect, das Teil von Apache Kafka ist. ksqlDB ist die Event-Streaming-Datenbank für Apache Kafka und ermöglicht es, Stream-Verarbeitungsanwendungen in großem Maßstab zu erstellen, die mit einer vertrauten SQL-Schnittstelle geschrieben sind.

In diesem Vortrag werden wir die architektonischen Überlegungen zu Apache Kafka und die Vorteile der Echtzeiteintegration erklären, und wir werden eine Streaming-Datenpipeline nur mit unseren bloßen Händen, Kafka Connect und ksqlDB bauen.

Staune, während wir Ereignisse in Echtzeit filtern! Sei erstaunt, wie wir Datenströme mit Daten aus RDBMS anreichern können! Sei verblüfft über die Kraft von Streaming-Aggregaten zur Anomalieerkennung!

👾 Probiere es selbst aus: https://github.com/confluentinc/demo-scene/tree/master/build-a-streaming-pipeline

--

🎓 Ressourcen

👾 Probiere es selbst aus: https://github.com/confluentinc/demo-scene/tree/master/build-a-streaming-pipeline

📔 Folien: http://talks.rmoff.net/tkl4a1/apache-kafka-and-ksqldb-in-action-lets-build-a-streaming-data-pipeline

🎥 Einführung in ksqlDB: https://rmoff.dev/ksqldb-introduction

🎥 Streaming-Daten von Kafka zu Elasticsearch: https://rmoff.dev/kafka-elasticsearch-video

--

☁️ Confluent Cloud ☁️

Confluent Cloud ist ein verwalteter Apache Kafka- und Confluent Platform-Dienst. Es skaliert auf null und ermöglicht dir den Einstieg in Apache Kafka mit einem Mausklick. Du kannst dich unter https://confluent.cloud/signup?utm_source=youtube&utm_medium=rmoff&utm_campaign=ty.community.con.rmoff_youtube_2fUOi9wJPhk&utm_term=rmoff-devx anmelden und den Code 60DEVADV für 60 $ auf deine Rechnung verwenden (Kleingedrucktes: https://www.confluent.io/confluent-cloud-promo-disclaimer/)