Créer un pipeline de données en streaming avec Google Cloud Dataflow : Pub/Sub vers BigQuery
Dans cette vidéo, vous apprendrez à créer un pipeline de données en streaming en utilisant Google Cloud Dataflow pour traiter des données en temps réel provenant de Pub/Sub et les charger dans BigQuery pour analyse.
Ce que vous apprendrez :
Introduction aux pipelines de streaming :
Comprendre les bases des données en streaming et leur importance dans l'analyse en temps réel.
Avantages de l'utilisation de Dataflow pour le traitement des données en streaming.
Construire un pipeline de streaming :
Envoyer des données en streaming vers Pub/Sub à l'aide d'un script Python pour cette démonstration.
Configurer Pub/Sub comme source de données.
Configurer le pipeline Dataflow pour traiter et transformer les données.
Charger des données en temps réel dans BigQuery.
Déployer et surveiller le travail :
Exécuter votre pipeline de streaming dans Dataflow.
Surveiller les métriques en temps réel et résoudre les problèmes courants.
À la fin de ce tutoriel, vous disposerez d'un pipeline de données en streaming entièrement fonctionnel qui traite des messages en temps réel provenant de Pub/Sub (générés à l'aide d'un script Python) et les stocke dans BigQuery, permettant ainsi une analyse dynamique et en temps réel.
Projets pratiques en ingénierie des données
Playlist
Apprendre Google Cloud en 2025
Projets pratiques en ingénierie des données
Vous souhaitez entrer en contact ?
Envoyez-moi un message à vishal.bulbule@techtrapture.com
Linkedin
Blog Medium
Github
Code source
💬 Rejoignez notre communauté WhatsApp pour des discussions et des mises à jour :
#googlecloud #learngooglecloud #cloudcomputing #video #viralvideo #gcp #organisation #gcpproject #tutorielgooglecloudplatform #gcptutorial #genai #kubernetes #techtrapture