Web scraping usando Scrapy e Python - Algumas dicas que você pode achar úteis.
O Scrapy permite que você use CSS ou XPATH para os seletores, e aqui analisamos quão poderoso o XPATH pode ser quando usado com "contains" e "starts-with" dentro do predicado para selecionar partes da página que precisamos raspar.
Outro benefício é que, se o CSS mudar na página da web, nosso código ainda pode selecionar as partes que precisamos.
eg.
response.xpath('//*[contains(@href,"biz")]/@href')
Créditos: Obrigado a Aaron S pela sugestão/dica.
Dr. P.