Lerne Spark Structured Streaming, indem du ein komplettes, praxisnahes Data Engineering-Projekt von Grund auf aufbaust!
In diesem praktischen Tutorial wird ein Senior Data Architect eine End-to-End-Streaming-Datenpipeline mit der Databricks Free Edition, Confluent Kafka, PostgreSQL und Spark Structured Streaming erstellen. Du wirst sowohl die Implementierung als auch die Theorie hinter der Echtzeit-Datenverarbeitung lernen.
Dieses Projekt ist ideal für:
✅ Data Engineers
✅ Spark-Entwickler
✅ Databricks-Lernende
✅ Kafka-Anfänger
✅ Vorbereitung auf Vorstellungsgespräche
✅ Alle, die ein Portfolio-Projekt erstellen möchten
📌 Was du lernen wirst
00:00 Einführung
02:23 Was ist Stream Processing
05:11 FinGuard - Anwendungsfall zur Betrugserkennung
08:04 Gesamtprojektarchitektur
11:50 Kafka-Architektur
19:36 Confluent Kafka Einrichtung
27:17 Kafka Producer Einrichtung
32:29 Spark - Kafka-Datenverbindung
51:27 Spark Streaming - Kafka-Datenverbrauch
57:42 Spark Streaming - Trigger-Typen
01:08:41 Secret Scope Einrichtung
01:18:41 Kafka-Verbindung Lakeflow Spark deklarative Pipeline
01:34:40 Streaming-Transaktionen - Bronze nach Silber laden
01:57:50 PostgreSQL Einrichtung
02:02:20 Historische Daten aus PostgreSQL mit Lakeflow Connect ingestieren
02:11:40 Kundendaten - Bronze nach Silber-Ingestion
02:28:32 Stream-Static Join
02:45:42 Gmail SMTP-App-Passwort einrichten
02:53:24 Echtzeit-Alarm mit SDP-Pipeline
03:09:10 Streaming JSON-Dateien einrichten
03:15:17 Streaming-Datei-Ingestion mit Auto Loader
03:23:15 SDP - Streaming-Dateien von Quelle nach Bronze laden
03:32:25 Betrugsüberwachungs-Liste - Bronze nach Silber laden
03:39:24 Stateless vs Stateful Stream Processing
03:43:15 Verwendung von Watermark im Streaming
03:47:13 Stream Stream Join
03:55:44 E-Mail-Alarm für Betrugsüberwachungs-Liste
04:05:32 Arten von Fenstern in Streaming-Daten
04:08:46 Aggregationen auf Streaming-Daten
04:20:34 End-to-End Streaming-Datenfluss
04:25:01 Dashboard mit nahezu Echtzeit-Datenaktualisierung
04:33:45 End-to-End-Orchestrierung mit Lakeflow-Jobs
04:38:00 Fazit
Alles, was in diesem Projekt verwendet wird, ist verfügbar, damit du das Projekt selbst aufbauen kannst.
📌 GitHub-Repository
📌 Projekt vollständiges PDF-Dokument
📌 PowerPoint-Präsentation (PPT)
📌 Confluent Kafka Gutschein-Code:
👉 CONFLUENTDEV1
Retail Data Engineering Projekt in Databricks Free Edition
Metadatengetriebenes Finanzbereich End-to-End Data Engineering Projekt
Data Modeling E2E Kurs
Wenn dir dieses Video hilft, abonniere DataBeli für weitere praktische Tutorials zu Data Engineering, Databricks, Spark, KI und Azure.
#Databricks #SparkStreaming #ApacheSpark #Kafka #ConfluentKafka #StructuredStreaming #DataEngineering #BigData #Azure #PySpark #Streaming #PostgreSQL #Lakehouse #Echtzeitanalytik #Betrugserkennung