Parte 4 do nosso mais recente projeto com Scrapy / Tutorial de Web Scraping. Analisando os detalhes.
Web Scraping de um grande site com "rolagem infinita" também conhecido como "AJAX carregar mais".
(Isso é baseado em um projeto do mundo real do Upwork).
*** PARTE 4 de 7 ***
Este vídeo cobre a função "parse_detail", usada para extrair as receitas.
Mais uma vez podemos usar :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Isso extrai json e nos permite analisar o dicionário que obtemos dele.
Também obtemos o número de dicionários em uma lista e iteramos por cada dicionário para extrair o valor da CHAVE 'text' que precisamos adicionar à nossa lista - a mesma lista que armazena a receita!
Por favor, comente, inscreva-se, curta, pois isso está demandando muito esforço e quanto mais comentários/feedback tivermos, melhor poderemos adaptar os vídeos futuros para você.
Código no GitHub
Saudações,
Dr. Pi.
#scrapy #rolageminfinita #carregarmais