Parte 2 do nosso mais recente projeto com Scrapy / Tutorial de Web Scraping. Criando a Aranha.
Raspagem de um site grande com "rolagem infinita" também conhecida como "AJAX carregar mais".
(Isso é baseado em um projeto real do Upwork).
*** PARTE 2 de 7 ***
Isso cobre a configuração do código da aranha, criação da classe da aranha, nome, configurações personalizadas, URLs iniciais, cabeçalhos, remoção de arquivos de teste com os.remove, e depois avança para olhar as 2 funções principais: parse e parse_detail.
Como sempre, escrevo a aranha para ser executada usando a sintaxe: "python3 spidername.py
Assim, você pode agora ver como executar o Scrapy como um Script Python.
Por favor, comente, inscreva-se, curta, pois isso está demandando muito esforço e quanto mais comentários/feedback tivermos, melhor poderemos adaptar os vídeos futuros para você.
Código no GitHub
Saudações,
Dr. Pi.
#scrapy #rolageminfinita #carregarmais