Aprenda a construir web scrapers robustos que podem vencer sistemas modernos de anti-bot. Neste curso completo de 5,5 horas, você fará a transição de scripts básicos em Python para a implementação de um dashboard completo em MERN que coleta e visualiza dados do mundo real da Amazon, Booking.com, Indeed e do Índice TIOBE.
Ao final deste curso, você terá uma aplicação completa em produção com um dashboard em React que visualiza dados coletados em tempo real. É totalmente profissional o suficiente para colocar em seu portfólio ou usar como um modelo de produção para trabalhos de clientes.
-🛠 Tech Stack
- Linguagens: Python | JavaScript
- Coleta e Bypass: Playwright | Cheerio | Evomi Scraping Browser | Evomi Scraper API | Proxies Residenciais
- Full-Stack: Node.js | Express | MongoDB | React | Vite | Bootstrap
✏️ Curso desenvolvido por @GavinLon
💻 Código
🏗️ A Evomi forneceu uma bolsa para tornar este curso possível.
Capítulos
- 0:00:00 Introdução
- 0:12:44 Parte 1 - Web Scraping com Scripts em Python - Visão Geral
- 0:16:27 Coletando dados do booking.com usando Script em Python e o Evomi’s Scraping Browser
- 0:37:10 Coletando dados do indeed.com usando Script em Python e a Evomi’s Scraper API
- 0:48:39 Coletando dados do amazon.com usando Script em Python e os Proxies Residenciais Core da Evomi
- 1:00:06 Parte 2 - Passando Testes de Detecção de Bots com o Evomi’s Scraping Browser - Visão Geral
- 1:04:18 Acessando o Site de Detecção de Bots usando JavaScript - Através do Playwright Padrão
- 1:13:29 Acessando o Site de Detecção de Bots usando JavaScript - Através do Evomi’s Scraping Browser
- 1:18:39 Parte 3 - Aplicativo de Web Scraping Full-stack usando MERN - Visão Geral
- 1:22:11 Preparando-se para Criar a Aplicação Web Full-stack
- 1:28:17 Instalando Dependências para o projeto Node do lado do servidor
- 1:29:26 Criando o arquivo de código server.js
- 1:42:03 Criando o arquivo de código language.js - Para Definir o Esquema para o Modelo de Dados do Índice TIOBE
- 1:51:18 Criando o arquivo de código tiobeService.js - Para Criar Código de Coleta/Parsing usando a Evomi’s Scraper API e Cheerio, respectivamente
- 2:12:41 Criando o arquivo de código tiobeController.js - Para Lidar com a Lógica de Requisições http Recebidas
- 2:23:02 Sessão Rápida de Correção de Bugs Antes de Testar o Código Através do Postman
- 2:26:01 Testando a Coleta do Índice TIOBE através do Postman
- 2:32:28 Criando o Código React para Exibir os Dados Coletados do Índice TIOBE
- 2:32:49 Configurando o Projeto Cliente React usando VITE
- 2:35:50 Criando o Componente React Tiobe
- 2:50:17 Instalando Bootstrap e React-Router-Dom
- 3:07:24 Dentro do App.jsx Criando a Rota para o Componente Tiobe
- 3:26:35 Executando o Cliente React para Testar o Componente React Tiobe
- 3:37:01 Corrigindo Problemas Estéticos
- 3:39:29 Executando Código para Testar Correções Estéticas
- 3:40:27 Como Fazer Requisições Poll para Evomi Usando a Evomi’s Scraper API.
- 3:45:24 Implementando Código Node do lado do servidor para Coletar Resultados de Busca da Amazon
- 3:45:58 Criando Rota da Amazon em server.js
- 3:46:50 Criando Modelo de Livro para Definir o Esquema para Dados de Busca da Amazon
- 3:56:27 Criando o arquivo de código amazonService.js - Para Criar Código de Coleta e Parsing usando a Evomi’s Scraper API e Cheerio, respectivamente
- 4:23:21 Criando o arquivo de código bookController.js - Para Lidar com a Lógica de Requisições http Recebidas
- 4:24:41 Certifique-se de que bookController.getAmazonBooks está Mapeado para a Rota
- 4:34:42 Testando Código Node do lado do servidor para Coletar Resultados de Busca da Amazon usando Postman
- 4:36:41 Sessão de Depuração - Corrigindo um Problema
- 4:37:19 Executando Código - Testado com Resultados Bem-sucedidos
- 4:38:41 Criando Código React para Exibir Resultados de Busca da Amazon
- 4:40:06 Criando Componente React Amazon
- 5:21:26 Testando Código React para Web Scraping da Amazon
- 5:25:12 Corrigindo Problemas Estéticos
- 5:27:20 Executando Código para Verificar Correções Estéticas
- 5:36:27 Encerramento