O scraping é uma técnica que permite extrair informações de sites da web.
Este tutorial de programação sobre web scraping com Python permitirá que você:
- Dê seus primeiros passos em scraping (para começar com requests e beautifulsoup)
- Aprenda e contorne os mecanismos de proteção contra scraping
- Conheça as regras legais relacionadas ao scraping
- Crie um projeto avançado que permitirá que você scrape qualquer site.
- Utilize a IA (ChatGPT) para ajudá-lo na geração de código.
----------------------------------------------------------
Pré-requisitos:
----------------------------------------------------------
Os links:
(este link não me traz nenhuma comissão, ele apenas permite que você siga este tutorial gratuitamente)
----------------------------------------------------------
O programa:
00:00:00 Introdução
00:01:50 Pré-requisitos
00:02:10 O programa
00:02:31 PARTE 1 - Seus primeiros passos em scraping
00:04:18 Fazer uma requisição HTTP (requests)
00:13:36 Extrair as informações (título + descrição)
00:23:33 Recuperar vários elementos (ingredientes)
00:27:40 Exercício: Etapas de preparação
00:30:22 Dicas para ir mais longe (gere código com ChatGPT / pratique com scrapethissite.com)
00:33:16 PARTE 2 - As proteções contra o scraping
00:36:34 User-agent: se passar por um navegador
00:41:28 Problemas relacionados ao Javascript
00:44:13 Navegação sem cabeça: contornar os problemas relacionados ao Javascript
00:45:42 Soluções de scraping profissional: Rotação de IPs, Proxys, Anti-captcha…
00:48:03 PARTE 3 - O scraping é legal?
00:50:56 PARTE 4 - Projeto de scraping avançado
00:52:23 Sites protegidos: Limites do script atual
00:55:51 As etapas do projeto
00:56:54 Criação da sua conta em BrightData.com
00:58:18 Entender: O WebUnlocker e ScrapingBrowser
00:59:37 Uso do Web Unlocker
01:11:44 Uso do Scraping Browser
01:17:39 Bypass do modo scraping
01:21:22 Extração das informações (título)
01:26:53 Extração das informações (nº avaliações, preço, descrição)
01:37:19 Várias urls, armazenar dados, agendar
01:42:53 Reformular conteúdo com a API ChatGPT
01:45:57 Conclusão
----------------------------------------------------------
Sobre:
Desenvolvedor apaixonado com mais de 19 anos de experiência profissional, atualmente sou desenvolvedor freelancer especializado em aplicativos móveis iOS e Android, e servidores WEB. Trabalho remotamente com meus clientes.
Neste canal, proponho que você descubra a programação de uma maneira diferente: trago minha pedagogia e minhas técnicas profissionais.
O objetivo? Permitir que você aprenda programação, se torne um melhor desenvolvedor, se profissionalize e, quem sabe, mude de vida.
Inscreva-se no canal para acessar novos vídeos sobre os seguintes tópicos:
- Tutorial de programação (Python, C#, .NET, ...)
- Tornar-se desenvolvedor freelancer
- Usar IAs generativas (ChatGPT, Midjourney...)