Como parte deste tópico, veremos como ingerir dados em tempo real usando o ecossistema Kafka e processá-los usando Spark Structured Streaming sobre a plataforma Databricks.
## Agenda
Aqui está a agenda para este módulo ou seção. Veremos um pipeline de análise de streaming de ponta a ponta usando Kafka e Spark com Scala como Linguagem de Programação sobre a Plataforma Databricks.
* Definir Declaração do Problema
* Configurar Instância EC2
* Simular Logs de Servidor Web
* Configurar e Iniciar o Broker Kafka
* Criar Tópico Kafka e Validar
* Ingerir Logs de Servidor Web no Tópico Kafka
* Configurar Cluster Databricks
* Integrar e Validar com Spark Structured Streaming
* Processamento de Dados em Streaming usando APIs de Data Frame
* Realizar Análise de Dados usando Spark SQL