Neste vídeo, mostramos como raspar dados de sites renderizados em javascript usando o Scrapy Playwright.
Nós cobrimos:
Como Instalar o Scrapy Playwright
Como Usar o Scrapy Playwright em suas Spiders
Como Esperar o Carregamento da Página
Como Raspar Múltiplas Páginas
Como Rolagem dos Elementos da Página com Scrapy Playwright
Como Fazer Capturas de Tela com Scrapy Playwright
A base de código que usamos neste vídeo pode ser clonada daqui:
****** RODANDO NO WINDOWS! *******
No momento da redação deste guia, o Scrapy Playwright não funciona no Windows. No entanto, é possível executá-lo com WSL (Windows Subsystem for Linux).
Este é um bom tutorial em vídeo para conferir se você precisa instalar o WSL na sua máquina Windows:
00:00 - Introdução
01:10 - Clonando & Instalando o Projeto Scrapy
02:18 - Adicionando as configurações necessárias para o Scrapy Playwright
02:52 - Adicionando o código de raspagem à nossa Spider
08:50 - Esperar o carregamento da página terminar com seletores CSS de elementos específicos
11:54 - Raspando múltiplas páginas clicando para a próxima página
15:47 - Raspando uma página com rolagem infinita usando Playwright
18:11 - Fazendo uma captura de tela enquanto raspa com Playwright
20:13 - Encerramento