Dans le cadre de ce sujet, nous allons voir comment ingérer des données en temps réel en utilisant l'écosystème Kafka et les traiter avec Spark Structured Streaming sur la plateforme Databricks.
## Agenda
Voici l'agenda pour ce module ou cette section. Nous allons voir un pipeline d'analytique de streaming de bout en bout utilisant Kafka et Spark avec Scala comme langage de programmation sur la plateforme Databricks.
* Définir l'énoncé du problème
* Configurer une instance EC2
* Simuler des journaux de serveur web
* Configurer et démarrer le broker Kafka
* Créer un sujet Kafka et valider
* Ingérer des journaux de serveur web dans le sujet Kafka
* Configurer un cluster Databricks
* Intégrer et valider avec Spark Structured Streaming
* Traitement des données en streaming en utilisant les API Data Frame
* Effectuer une analyse des données avec Spark SQL