Parte 5 de nuestro último proyecto de Scrapy / Tutorial de Web Scraping. Obteniendo el texto oculto.
Web Scraping de un sitio grande con "scroll infinito" también conocido como "carga más con AJAX".
(Esto se basa en un proyecto real de Upwork).
*** PARTE 5 de 7 ***
Este video cubre cómo obtener el texto oculto, que está oculto hasta que se utiliza "clic para más" en un navegador. Lo obtenemos del json...
Una vez más podemos usar :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Esto extrae json y nos permite analizar el diccionario que obtenemos de él.
Por favor, comenta, suscríbete, dale like, ya que esto requiere mucho esfuerzo y cuantas más opiniones/comentarios tengamos, mejor podremos adaptar futuros videos para ti.
Código en GitHub
Saludos,
Dr. Pi.
#scrapy #scrollinfinito #cargarmás