Dans cet atelier, Alexey Grigorev décompose les complexités de l'ingénierie des données en temps réel, passant des consommateurs Kafka basés sur Python aux pipelines Apache Flink de niveau entreprise. Cet atelier, qui fait partie du Data Engineering Zoomcamp, offre un aperçu pratique de la manière de gérer des données à haute vélocité, des événements hors ordre et des agrégations avec état.
Vous apprendrez à propos de :
- Kafka vs. Red Panda : Comprendre pourquoi Red Panda est une alternative plus rapide et plus simple à Kafka pour les développeurs.
- Producteur & Consommateur : Apprenez à transformer des données Python en octets exploitables en flux et à les lire.
- Intégration de base de données : Comment déplacer des données d'un flux en direct vers une base de données PostgreSQL permanente.
- Notions de Flink : Apprenez comment les Job Managers (le cerveau) et les Task Managers (le muscle) exécutent des travaux de streaming.
- Gestion des données tardives : Utilisez des Watermarks pour gérer les événements qui arrivent en retard ou hors ordre.
- Fenêtres temporelles : Regroupez les données en blocs de temps (comme "toutes les 5 minutes") pour calculer des totaux en temps réel.
Liens :
TIMECODES :
00:00 Introduction à l'atelier et contexte du cours
01:34 Trouver les matériaux de l'atelier et les liens du cours
03:01 Aperçu de la pile de streaming : Kafka, Redpanda et Flink
04:56 Crédits, changements d'atelier et plan de configuration de l'environnement
06:32 Création d'un dépôt et lancement de Codespaces
10:18 Configuration du projet Python avec UV
13:09 Démarrage de Redpanda et définition des rôles de producteur et de consommateur
15:37 Chargement des données de taxi et modélisation des événements de course
23:48 Construction d'un producteur Kafka et envoi d'événements JSON
27:16 Création d'un consommateur et nettoyage de la logique de sérialisation
40:02 Streaming de nombreux événements et écriture dans Postgres
48:41 Pourquoi Flink pour le traitement de flux
52:46 Architecture Flink et configuration Docker
01:03:24 Premier job Flink : Passerelle Kafka vers Postgres
01:11:30 De la passerelle aux agrégations en temps réel
01:14:50 Génération d'événements en temps réel et tardifs
01:18:58 Agrégations de fenêtres et Watermarks dans Flink
01:28:57 Conclusion, discussion sur les Watermarks et clôture
Connectez-vous avec DataTalks.Club :
Connectez-vous avec Alexey
Découvrez nos cours en ligne gratuits :
👋🏼 Soutien/demandes
Si vous êtes une entreprise, contactez-nous à alexey@datatalks.club
#apacheflink #kafka #redpanda #python #dataengineering #streaming #postgresql #docker #pyflink #realtimeanalytics #bigdata #softwareengineering #codespaces #datapipelines #streamprocessing #eventdriven #coding #techworkshop #learninginpublic #datatalksclub