Tutorial de Python, NoSQL & FastAPI: Web Scraping Programado
Nesta série, você aprenderá a:
- Integrar Cassandra com Python, FastAPI e Celery
- Configurar e Gerenciar o Astra DB (banco de dados Cassandra gerenciado)
- Agendar e Descarregar Tarefas com Celery
- Técnicas de Web Scraping
- Selenium e requests-html para extrair e analisar dados
Links
0:00:00 Boas-vindas
00:00:58 Demonstração
00:12:58 Visão Geral & Requisitos
00:15:22 Configuração do Projeto
00:19:26 Iniciar a Integração entre Python e Cassandra
00:25:11 Configurar o cassandra-driver do Python
00:30:13 Seu Primeiro Modelo Cassandra
00:36:08 Criar Dados usando nosso Modelo Cassandra
00:43:20 Adicionando uma Nova Coluna a um Modelo Existente
00:46:26 Usando UUID1 como Chave Primária
00:55:19 Usando Jupyter com Modelos Cassandra
01:06:35 Usando Pydantic para Validação e Limpeza de Dados
01:14:22 FastAPI & Variáveis de Ambiente
01:21:26 FastAPI + Cassandra & Pydantic
01:36:01 Converter Campo UUID do Cassandra para Pydantic Datetime Strv
01:44:50 Endpoint para Ingestão de Dados para FastAPI & AstraDB
01:56:41 Celery, Redis & Descarregamento Básico de Tarefas
02:13:18 Integrar o Driver Cassandra com Celery
02:23:47 Executando Tarefas Periódicas
02:35:24 Scraping Básico com Selenium
02:45:35 Selenium & Rolagem Infinita com JavaScript
02:52:52 requests-html & Análise de Dados
03:11:34 Implementar o Parser do Cliente de Scrape
03:27:20 Juntando tudo
03:36:58 Obrigado