Estamos muy emocionados de presentarles nuestro último proyecto de Scrapy / Tutorial de Web Scraping.
Web Scraping de un sitio grande con "scroll infinito" también conocido como "AJAX cargar más".
(Esto se basa en un proyecto real de Upwork).
*** PARTE 1 de 7 ***
Esto cubre el análisis del sitio, mientras identificamos los elementos y fuentes relevantes para los selectores que pondremos en nuestra araña de Scrapy.
Si solo quieres saltar a una sección:
2:29 Buscando la fuente de la receta/ingredientes completa
3:14 Revisando AJAX / XHR en la pestaña de Red en las Herramientas de Desarrollo en Firefox
5:25 Confirmando que la URL incrementa durante el scroll
7:06 Buscando "json" en la fuente
8:26 Miniaturas de la Página Principal - Enlaces a páginas de detalles - prueba en la consola de Scrapy
9:27 response.xpath("//script[@type='application/ld+json']/text()").get();
11:04 Localizando la lista COMPLETA de ingredientes
14:21 Localizando la receta COMPLETA
17:51 probando el incremento de "pn=" para usar en nuestra araña para nuestra "siguiente página"
23:59 Mostrando la lista completa de ingredientes
El json que encontramos es extremadamente útil, así que durante el video verás cómo planeamos usarlo y seleccionar los "enlaces" en los que trabajaremos más durante la parte 2.
Por favor comenta, suscríbete, da like 👍, ya que esto requiere mucho esfuerzo y cuantas más comentarios/opiniones tenga, mejor podré adaptar futuros videos para ti.
Código en GitHub
Saludos,
Dr. Pi.
#scrapy #scrollinfinito #cargarmás