Neste vídeo, mostro como construir um data warehouse a partir de dados extraídos. cobrimos todo o pipeline desde a saída bruta da extração até um data warehouse estruturado e consultável.
Tópicos abordados:
- Por que você precisa de um data warehouse para dados extraídos
- Escolhendo o banco de dados certo: PostgreSQL, BigQuery, Snowflake, DuckDB
- Design de pipeline ETL para dados extraídos
- Design de esquema e normalização para conjuntos de dados extraídos da web
- Limpeza de dados, deduplicação e verificações de qualidade
- Agendamento e automação para coleta contínua de dados