Web scraping utilizando Scrapy y Python - Algunos consejos que pueden ser útiles.
Scrapy te permite usar CSS o XPATH para los selectores, y aquí vemos cuán poderoso puede ser XPATH cuando se utiliza con "contains" y "starts-with" dentro del predicado para seleccionar partes de la página que necesitamos raspar.
Otro beneficio es que si el CSS cambia en la página web, nuestro código aún puede seleccionar las partes que necesitamos.
eg.
response.xpath('//*[contains(@href,"biz")]/@href')
Créditos: Gracias a Aaron S por la sugerencia/consejo.
Dr P.