In diesem Video zeige ich dir, wie du ein Data Warehouse aus gescrapten Daten aufbaust. Wir behandeln die gesamte Pipeline vom Rohdatenoutput bis hin zu einem strukturierten, abfragbaren Data Warehouse.
Behandelte Themen:
- Warum du ein Data Warehouse für gescrapte Daten benötigst
- Die richtige Datenbank wählen: PostgreSQL, BigQuery, Snowflake, DuckDB
- ETL-Pipeline-Design für gescrapte Daten
- Schema-Design und Normalisierung für web-scrapete Datensätze
- Datenbereinigung, Duplikatentfernung und Qualitätsprüfungen
- Planung und Automatisierung für kontinuierliche Datensammlung