Parte 5 do nosso mais recente projeto com Scrapy / Tutorial de Web Scraping. Obtendo o texto oculto.
Web Scraping de um grande site com "rolagem infinita" também conhecido como "AJAX carregar mais".
(Isso é baseado em um projeto real do Upwork).
*** PARTE 5 de 7 ***
Este vídeo aborda a obtenção do texto oculto, que fica oculto até que "clique para mais" seja usado em um navegador. Nós o obtemos do json...
Mais uma vez podemos usar :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Isso extrai json e nos permite analisar o dicionário que obtemos dele.
Por favor, comente, inscreva-se, curta, pois isso está demandando muito esforço e quanto mais comentários/feedback tivermos, melhor poderemos adaptar os vídeos futuros para você.
Código no GitHub
Saudações,
Dr. Pi.
#scrapy #rolageminfinita #carregarmais