Haben Sie jemals gedacht, dass Sie ein Programmierer sein müssen, um Stream-Verarbeitung zu betreiben und Streaming-Datenpipelines zu erstellen? Denken Sie nochmal nach! Apache Kafka ist eine verteilte, skalierbare und fehlertolerante Streaming-Plattform, die latenzarme Pub-Sub-Nachrichten mit nativer Speicherung und Stream-Verarbeitungsfunktionen kombiniert. Die Integration von Kafka mit RDBMS, NoSQL und Objektspeichern ist einfach mit Kafka Connect, das Teil von Apache Kafka ist. KSQL ist die Open-Source-SQL-Streaming-Engine für Apache Kafka und ermöglicht es, Stream-Verarbeitungsanwendungen in großem Maßstab zu erstellen, die mit einer vertrauten SQL-Schnittstelle geschrieben sind.
In diesem Vortrag werden wir die architektonischen Überlegungen zu Apache Kafka und die Vorteile der Echtzeitintegration erläutern, und wir werden eine Streaming-Datenpipeline nur mit unseren bloßen Händen, Kafka Connect und KSQL erstellen.
Staunen Sie, während wir Ereignisse in Echtzeit filtern! Seien Sie erstaunt, wie wir Datenströme mit Daten aus RDBMS anreichern können! Seien Sie verblüfft über die Leistungsfähigkeit von Streaming-Aggregaten zur Anomalieerkennung!
Robin Moffatt
Von Confluent
Robin ist Developer Advocate bei Confluent, dem Unternehmen, das von den Schöpfern von Apache Kafka gegründet wurde, sowie Oracle ACE Director und Developer Champion. Seine Karriere war immer mit Daten verbunden, von den alten Welten von COBOL und DB2 über die Welten von Oracle und Hadoop bis hin zur aktuellen Welt mit Kafka. Seine besonderen Interessen sind Analytik, Systemarchitektur, Leistungstests und -optimierung. Er bloggt unter
http://cnfl.io/rmoff und
http://rmoff.net/ (und zuvor
http://ritt.md/rmoff) und ist auf Twitter als @rmoff zu finden, wo er grimmige Geek-Gedanken teilt. In seiner Freizeit genießt er gutes Bier und frittierte Frühstücke, allerdings normalerweise nicht zur gleichen Zeit.