Teil 3 unseres neuesten Scrapy-Projekts / Web Scraping Tutorials. Die Links abrufen.
Web Scraping einer großen Seite mit "unendlichem Scrollen" bzw. "AJAX mehr laden".
(Das basiert auf einem realen Projekt von Upwork).
*** TEIL 3 von 7 ***
Hier geht es darum, die Links hinter jedem Thumbnail abzurufen, damit wir die Seite besuchen und die Details erhalten können.
Wie auch in einem meiner letzten JSON-Videos zu sehen, verwende ich:
response.xpath("//script[@type='application/ld+json']/text()").get();
um das JSON abzurufen und in ein Dictionary zu laden, um es zu parsen.
Am Ende dieses Videos haben wir 8 Links von der Thumbnail-Seite in unserer Ausgabedatei im CSV-Format.
Bitte kommentieren, abonnieren, liken, da dies viel Aufwand erfordert und je mehr Kommentare/Feedback wir erhalten, desto besser können wir zukünftige Videos auf Sie zuschneiden.
GitHub-Code
Viele Grüße,
Dr. Pi.
#scrapy #unendlichesScrollen #mehrladen