In diesem Workshop erklärt Alexey Grigorev die Komplexität der Echtzeit-Datenverarbeitung und führt von einfachen Python-basierten Kafka-Clients zu unternehmensgerechten Apache Flink-Pipelines. Dieser Workshop, Teil des Data Engineering Zoomcamp, bietet einen praktischen Einblick, wie man mit hochdynamischen Daten, zeitlich versetzten Ereignissen und zustandsbehafteten Aggregationen umgeht.
Sie werden lernen über:
- Kafka vs. Red Panda: Verstehen Sie, warum Red Panda eine schnellere, einfachere Alternative zu Kafka für Entwickler ist.
- Producer & Consumer: Lernen Sie, wie man Python-Daten in streambare Bytes umwandelt und sie wieder liest.
- Datenbankintegration: Wie man Daten von einem Live-Stream in eine permanente PostgreSQL-Datenbank überträgt.
- Flink Grundlagen: Lernen Sie, wie Job-Manager (das Gehirn) und Task-Manager (die Muskeln) Streaming-Jobs ausführen.
- Umgang mit verspäteten Daten: Verwenden Sie Watermarks, um Ereignisse zu verwalten, die verspätet oder außerhalb der Reihenfolge eintreffen.
- Zeitfenster: Gruppieren Sie Daten in Zeitblöcke (wie "alle 5 Minuten"), um Echtzeit-Gesamtergebnisse zu berechnen.
Links:
ZEITKODES:
00:00 Workshop Einführung und Kurskontext
01:34 Workshop-Materialien und Kurslinks finden
03:01 Streaming-Stack Übersicht: Kafka, Redpanda und Flink
04:56 Credits, Workshop-Änderungen und Umgebungssetup-Plan
06:32 Erstellen eines Repositories und Starten von Codespaces
10:18 Python-Projektsetup mit UV
13:09 Redpanda starten und Producer- und Consumer-Rollen definieren
15:37 Taxi-Daten laden und Fahrereignisse modellieren
23:48 Erstellen eines Kafka Producers und Senden von JSON-Ereignissen
27:16 Erstellen eines Consumers und Bereinigen der Serialisierungslogik
40:02 Streaming vieler Ereignisse und Schreiben in Postgres
48:41 Warum Flink für Stream Processing
52:46 Flink Architektur und Docker-Setup
01:03:24 Erster Flink Job: Kafka zu Postgres Durchlauf
01:11:30 Vom Durchlauf zu Echtzeit-Aggregationen
01:14:50 Generierung von Echtzeit- und verspäteten Ereignissen
01:18:58 Fensteraggregationen und Watermarks in Flink
01:28:57 Zusammenfassung, Watermark-Diskussion und Abschluss
Verbinden Sie sich mit DataTalks.Club:
Verbinden Sie sich mit Alexey
Überprüfen Sie unsere kostenlosen Online-Kurse:
👋🏼 Unterstützung/Anfragen
Wenn Sie ein Unternehmen sind, erreichen Sie uns unter alexey@datatalks.club
#apacheflink #kafka #redpanda #python #dataengineering #streaming #postgresql #docker #pyflink #realtimeanalytics #bigdata #softwareengineering #codespaces #datapipelines #streamprocessing #eventdriven #coding #techworkshop #learninginpublic #datatalksclub