Dans cette vidéo, je vous montre comment construire un entrepôt de données à partir de données extraites. Nous couvrons l'ensemble du pipeline, de la sortie brute d'extraction à un entrepôt de données structuré et interrogeable.
Sujets abordés :
- Pourquoi vous avez besoin d'un entrepôt de données pour les données extraites
- Choisir la bonne base de données : PostgreSQL, BigQuery, Snowflake, DuckDB
- Conception de pipeline ETL pour les données extraites
- Conception de schéma et normalisation pour les ensembles de données extraites du web
- Nettoyage des données, dé-duplication et vérifications de qualité
- Planification et automatisation pour la collecte continue de données