Web scraping avec Scrapy et Python - Quelques astuces qui pourraient vous être utiles.
Scrapy vous permet d'utiliser CSS ou XPATH pour les sélecteurs, et ici nous examinons à quel point XPATH peut être puissant lorsqu'il est utilisé avec "contains" et "starts-with" à l'intérieur du prédicat pour extraire les parties de la page que nous devons scraper.
Un autre avantage est que si le CSS change sur la page web, notre code peut toujours extraire les parties dont nous avons besoin.
eg.
response.xpath('//*[contains(@href,"biz")]/@href')
Crédit : Merci à Aaron S pour la suggestion/l'astuce.
Dr P.