Im Rahmen dieses Themas werden wir sehen, wie man Daten in Echtzeit mit dem Kafka-Ökosystem erfasst und mit Spark Structured Streaming auf Databricks verarbeitet.
## Agenda
Hier ist die Agenda für dieses Modul oder diesen Abschnitt. Wir werden eine End-to-End-Streaming-Analytics-Pipeline mit Kafka und Spark unter Verwendung von Scala als Programmiersprache auf der Databricks-Plattform sehen.
* Problemstellung definieren
* EC2-Instanz einrichten
* Webserver-Protokolle simulieren
* Kafka-Broker einrichten und starten
* Kafka-Topic erstellen und validieren
* Webserver-Protokolle in Kafka-Topic erfassen
* Databricks-Cluster einrichten
* Integrieren und validieren mit Spark Structured Streaming
* Streaming-Datenverarbeitung mit Data Frame APIs
* Datenanalyse mit Spark SQL durchführen