Teil 5 unseres neuesten Scrapy-Projekts / Web Scraping Tutorials. Den versteckten Text abrufen.
Web Scraping einer großen Seite mit "unendlichem Scrollen" aka "AJAX mehr laden".
(Das basiert auf einem realen Projekt von Upwork).
*** TEIL 5 von 7 ***
In diesem Video geht es darum, den versteckten Text abzurufen, der bis zur Verwendung von "mehr anzeigen" im Browser verborgen bleibt. Wir erhalten ihn aus dem json...
Wieder können wir verwenden :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Dies extrahiert json und ermöglicht es uns, das Dictionary zu parsen, das wir daraus erhalten.
Bitte kommentieren, abonnieren, liken, da dies viel Aufwand erfordert und je mehr Kommentare/Feedback wir erhalten, desto besser können wir zukünftige Videos auf Sie zuschneiden.
GitHub-Code
Viele Grüße,
Dr. Pi.
#scrapy #unendlichesScrollen #mehrladen