Parte 3 de nuestro último proyecto de Scrapy / Tutorial de Web Scraping. Obteniendo los enlaces.
Haciendo Web Scraping de un sitio grande con "scroll infinito" también conocido como "carga AJAX más".
(Esto se basa en un proyecto real de Upwork).
*** PARTE 3 de 7 ***
Esto cubre la obtención de los enlaces detrás de cada miniatura para que podamos visitar la página y obtener los detalles.
Como también se vio en uno de mis recientes videos sobre json, utilizo:
response.xpath("//script[@type='application/ld+json']/text()").get();
para obtener el json y cargarlo en un diccionario para analizarlo.
Al final de este video tenemos 8 enlaces de la página de miniaturas en nuestro archivo CSV de salida.
Por favor, comenta, suscríbete, dale like, ya que esto requiere mucho esfuerzo y cuantas más opiniones/comentarios tengamos, mejor podremos adaptar futuros videos para ti.
Código en GitHub
Saludos,
Dr. Pi.
#scrapy #scrollinfinito #cargarmás