Parte 3 do nosso mais recente projeto com Scrapy / Tutorial de Web Scraping. Obtendo os links.
Raspagem de um site grande com "rolagem infinita" também conhecida como "AJAX carregar mais".
(Isso é baseado em um projeto real do Upwork).
*** PARTE 3 de 7 ***
Isso cobre a obtenção dos links por trás de cada miniatura para que possamos visitar a página e obter os detalhes.
Como também visto em um dos meus vídeos recentes sobre json, eu uso:
response.xpath("//script[@type='application/ld+json']/text()").get();
para obter o json e carregá-lo em um dicionário para análise.
Ao final deste vídeo, temos 8 links da página de miniaturas no nosso arquivo CSV de saída.
Por favor, comente, inscreva-se, curta, pois isso está demandando muito esforço e quanto mais comentários/feedback, melhor podemos adaptar os vídeos futuros para você.
Código do GitHub
Saudações,
Dr. Pi.
#scrapy #rolageminfinita #carregarmais