En este video, explicamos cómo raspar datos de sitios web renderizados con JavaScript utilizando Scrapy Playwright.
Cubrimos:
Cómo Instalar Scrapy Playwright
Cómo Usar Scrapy Playwright en tus Spiders
Cómo Esperar a que la Página Cargue
Cómo Raspar Múltiples Páginas
Cómo Desplazar los Elementos de la Página con Scrapy Playwright
Cómo Tomar Capturas de Pantalla con Scrapy Playwright
La base de código que usamos en este video se puede clonar desde aquí:
****** ¡EJECUTANDO EN WINDOWS! *******
Al momento de escribir esta guía, Scrapy Playwright no funciona con Windows. Sin embargo, es posible ejecutarlo con WSL (Subsistema de Windows para Linux).
Este es un buen tutorial en video para consultar si necesitas instalar WSL en tu máquina con Windows:
00:00 - Introducción
01:10 - Clonando e Instalando el Proyecto Scrapy
02:18 - Agregando la configuración necesaria para Scrapy Playwright
02:52 - Agregando el código de raspado a nuestra Spider
08:50 - Esperar a que la página termine de cargar selectores CSS de elementos específicos
11:54 - Raspando múltiples páginas haciendo clic en la siguiente página
15:47 - Raspando una página con desplazamiento infinito usando Playwright
18:11 - Tomando una captura de pantalla mientras raspas con Playwright
20:13 - Despedida