Apprenez Spark Structured Streaming en construisant un projet complet d'ingénierie des données du monde réel à partir de zéro !
Dans ce tutoriel pratique, un architecte de données senior construira un pipeline de données en streaming de bout en bout en utilisant Databricks Free Edition, Confluent Kafka, PostgreSQL et Spark Structured Streaming. Vous apprendrez à la fois l'implémentation et la théorie derrière le traitement des données en temps réel.
Ce projet est idéal pour :
✅ Ingénieurs en données
✅ Développeurs Spark
✅ Apprenants Databricks
✅ Débutants Kafka
✅ Préparation aux entretiens
✅ Toute personne cherchant à construire un projet de portfolio
📌 Ce que vous apprendrez
00:00 Introduction
02:23 Qu'est-ce que le traitement de flux
05:11 FinGuard - Cas d'utilisation de détection de fraude
08:04 Architecture globale du projet
11:50 Architecture Kafka
19:36 Configuration de Confluent Kafka
27:17 Configuration du producteur Kafka
32:29 Spark - connexion de données Kafka
51:27 Spark Streaming - consommation de données Kafka
57:42 Spark Streaming - Types de déclencheurs
01:08:41 Configuration de Secret Scope
01:18:41 Connexion Kafka Lakeflow Spark Pipeline déclaratif
01:34:40 Transactions en streaming - chargement de bronze à argent
01:57:50 Configuration de Postgres SQL
02:02:20 Ingestion de données historiques depuis Postgres en utilisant Lakeflow Connect
02:11:40 Données clients - ingestion de bronze à argent
02:28:32 Jointure Stream-Static
02:45:42 Configuration du mot de passe de l'application Gmail SMTP
02:53:24 Alerte en temps réel utilisant le pipeline SDP
03:09:10 Configuration des fichiers JSON en streaming
03:15:17 Ingestion de fichiers en streaming utilisant Auto Loader
03:23:15 SDP - Chargement de fichiers en streaming source vers bronze
03:32:25 liste de surveillance de fraude - chargement de bronze à argent
03:39:24 Traitement de flux sans état vs avec état
03:43:15 Utilisation de watermark dans le streaming
03:47:13 Jointure Stream Stream
03:55:44 Alerte par email pour la liste de surveillance de fraude
04:05:32 Types de fenêtres dans les données de streaming
04:08:46 Agrégations sur les données de streaming
04:20:34 Flux de données de streaming de bout en bout
04:25:01 Tableau de bord avec actualisation des données presque en temps réel
04:33:45 Orchestration de bout en bout avec les tâches Lakeflow
04:38:00 Conclusion
Tout ce qui est utilisé dans ce projet est disponible pour que vous puissiez construire le projet vous-même.
📌 Dépôt GitHub
📌 Document PDF complet du projet
📌 Présentation PowerPoint (PPT)
📌 Code de réduction Confluent Kafka :
👉CONFLUENTDEV1
Projet d'ingénierie des données de détail dans Databricks Free Edition
Projet d'ingénierie des données de bout en bout dans le domaine financier basé sur les métadonnées
Cours de modélisation des données E2E
Si cette vidéo vous aide, abonnez-vous à DataBeli pour plus de tutoriels pratiques sur l'ingénierie des données, Databricks, Spark, IA et Azure.
#Databricks #SparkStreaming #ApacheSpark #Kafka #ConfluentKafka #StructuredStreaming #DataEngineering #BigData #Azure #PySpark #Streaming #PostgreSQL #Lakehouse #RealTimeAnalytics #FraudDetection