Teil 4 unseres neuesten Scrapy-Projekts / Web Scraping Tutorials. Parsing der Details.
Web Scraping einer großen Seite mit "unendlichem Scrollen" auch bekannt als "AJAX mehr laden".
(Das basiert auf einem realen Projekt von Upwork).
*** TEIL 4 von 7 ***
In diesem Video wird die Funktion "parse_detail" behandelt, die verwendet wird, um die Rezepte zu extrahieren.
Wieder können wir verwenden :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Dies extrahiert JSON und ermöglicht es uns, das Dictionary, das wir daraus erhalten, zu parsen.
Wir erhalten auch die Anzahl der Dictionaries in einer Liste und iterieren durch jedes Dictionary, um den Wert aus dem 'text'-SCHLÜSSEL zu extrahieren, den wir unserer Liste hinzufügen müssen - genau derselben Liste, die das Rezept speichert!
Bitte kommentieren, abonnieren, liken, da dies viel Aufwand erfordert und je mehr Kommentare/Feedback wir erhalten, desto besser können wir zukünftige Videos auf Sie zuschneiden.
GitHub-Code
Viele Grüße,
Dr. Pi.
#scrapy #unendlichesScrollen #mehrladen