Web Scraping mit Scrapy und Python - Einige nützliche Tipps.
Scrapy ermöglicht die Verwendung von CSS oder XPATH für die Selektoren, und hier betrachten wir, wie mächtig XPATH sein kann, wenn es mit "contains" und "starts-with" innerhalb des Prädikats verwendet wird, um Teile der Seite auszuwählen, die wir scrapen müssen.
Ein weiterer Vorteil ist, dass unser Code möglicherweise weiterhin die Teile auswählt, die wir benötigen, selbst wenn sich das CSS auf der Webseite ändert.
eg.
response.xpath('//*[contains(@href,"biz")]/@href')
Credit: Danke an Aaron S für den Vorschlag/Tipp.
Dr. P.