Encontre a Bright Data em seu canal no YouTube: @BrightData
Aprenda scraping do zero com esta formação completa. Esta formação é realizada com Python, mas toda a teoria do scraping e da contorno de bloqueios pode ser aplicada a qualquer linguagem que permita fazer scraping.
----------------------------------------------------------
PRÉ-REQUISITOS:
----------------------------------------------------------
🔗 Fontes dos scripts
🖥️ Crie seu VPS na Infomaniak
🔗 Minha formação completa em Python na Udemy (+60h de formação)
🔖 Inscreva-se no Docstring
💬 Junte-se a nós no servidor Discord
----------------------------------------------------------
===== CAPÍTULOS =====
00:00:00 Introdução
00:03:13 O programa da formação
00:07:58 Definição de scraping
00:08:56 Os pré-requisitos
00:11:06 Os obstáculos (e a solução)
00:13:20 PARTE 1: as bases do scraping
00:18:26 Recuperar o conteúdo de uma página com requests
00:24:35 Analisar o conteúdo de uma página com BeautifulSoup
00:33:41 Recuperar informações com BeautifulSoup
00:43:03 Analisar a página inicial dos livros
00:54:56 É sua vez!
01:04:32 Exercícios simples: Introdução
01:06:08 Recuperar as categorias com um único livro
01:08:40 Solução
01:32:01 Recuperar os livros avaliados com 1 estrela
01:35:44 Solução
02:08:18 Exercício avançado: Introdução
02:09:08 Enunciado do exercício
02:10:23 Apresentação do Selectolax e Loguru
02:18:04 Preparação de um caderno de encargos
02:28:32 Criação do corpo do script
02:47:46 Recuperação do preço de um livro
03:12:41 Recuperar todas as URLs em uma página
03:24:48 Recuperar a URL da próxima página
03:30:54 Recuperar todas as URLs da livraria
03:38:44 Recuperar o valor total da livraria
03:46:51 Otimização do nosso script com sessões
03:53:09 Conclusão
03:53:59 PARTE 2: contornar os obstáculos
03:55:57 O que diz a lei
03:56:38 Os CGUs
03:59:25 O RGPD
04:00:49 O caso entreparticulares.com VS Leboncoin
04:01:58 Exemplos de scraping lícito e ilícito
04:04:59 O arquivo robots.txt
04:09:10 Entrevista com Rony SHALIT
04:46:29 Os bloqueios técnicos
04:50:43 Os bloqueios voluntários
04:52:04 O bloqueio por limitação de requisições
04:59:18 O bloqueio com o user-agent
05:04:55 Apresentação do Playwright
05:10:46 Usar playwright para exibir o javascript
05:20:14 Interagir com o DOM
05:26:22 Os métodos indispensáveis a conhecer
05:37:45 A solução Bright Data
05:38:43 Visão geral da plataforma
05:45:04 Crie sua conta na Bright Data
05:48:28 Usar a rede de proxy residencial
05:57:59 Usar o desbloqueador da web
06:02:12 Usar o navegador de scraping
06:09:47 PARTE 3: Recuperar dados no AirBnB
06:11:01 Preparação de um scraping ético
06:15:04 Análise do site para preparar o scraping
06:20:44 Criar o projeto e instalar as bibliotecas
06:24:21 Scraping simples com requests
06:29:15 Salvar o HTML no disco
06:34:57 Recuperar o HTML do disco
06:42:39 Recuperar os dados de preço
07:03:49 Executar o script na linha de comando
07:06:11 Scraping avançado com Playwright
07:15:46 Passar por todas as páginas
07:25:09 Usar o navegador de scraping da Bright Data
07:33:44 Automatizar a abertura do depurador
07:39:11 Minimizar a largura de banda
07:43:20 Navegar até a página de pesquisas
07:52:09 Passar para o mês seguinte
08:09:57 Rolar os meses
08:22:14 Recuperar o preço e finalizar o script
08:34:01 PARTE 4: Sistema de alerta e-commerce
08:35:16 As ferramentas utilizadas
08:38:01 Preparação de um scraping ético
08:39:55 Recuperar o HTML com requests
08:52:47 Adicionar as variáveis de ambiente
08:54:57 Usar o Desbloqueador da Web
09:00:09 Manter o histórico dos valores no disco
09:04:45 Comparar o valor atual com o anterior
09:08:17 Adicionar a função de alerta com Pushover
09:11:27 Adicionar o logger
09:17:44 Terminar a função principal
09:28:02 Enviar os arquivos para o VPS
09:32:41 Criar um Cron Job
09:39:17 Remover o aviso com urllib
09:40:45 Adicionar os alertas Sentry
09:50:22 Encerramento