Haben Sie jemals gedacht, dass Sie ein Programmierer sein müssen, um Stream-Verarbeitung durchzuführen und Streaming-Datenpipelines zu erstellen? Denken Sie nochmal nach! Apache Kafka ist eine verteilte, skalierbare und fehlertolerante Streaming-Plattform, die latenzarme Pub-Sub-Nachrichten mit nativen Speicher- und Stream-Verarbeitungsfunktionen kombiniert. Die Integration von Kafka mit RDBMS, NoSQL und Objektspeichern ist einfach mit Kafka Connect, das Teil von Apache Kafka ist. KSQL ist eine SQL-Streaming-Engine für Apache Kafka und ermöglicht es, Stream-Verarbeitungsanwendungen in großem Maßstab zu erstellen, die mit einer vertrauten SQL-Schnittstelle geschrieben sind.
In diesem Vortrag erklären wir die architektonischen Überlegungen zu Apache Kafka und die Vorteile der Echtzeitintegration, und wir werden eine Streaming-Datenpipeline nur mit unseren bloßen Händen, Kafka Connect und KSQL erstellen.
Staunen Sie, während wir Ereignisse in Echtzeit filtern! Seien Sie erstaunt, wie wir Datenströme mit Daten aus RDBMS anreichern können! Seien Sie verblüfft über die Leistungsfähigkeit von Streaming-Aggregaten zur Anomalieerkennung!