Wie man response.text von Scrapy (oder requests oder Beautiful Soup) analysiert.
(Keine regulären Ausdrücke nötig, einfach split, strip, replace).
Wenn du versuchst, Kommentare von einer Seite zu scrapen und sie sich in Javascript befinden, benötigst du eine Möglichkeit, die Werte/Text auf andere Weise zu erhalten. CSS oder XPATH helfen dir dabei nicht.
Hier zeige ich, wie man das Javascript analysiert, um das JSON herauszupicken und dann das JSON in ein Dictionary zu laden. Sobald die Schlüssel:Werte vorhanden sind, kannst du sehr einfach damit arbeiten.
◉ 1:26 Suche nach JSON
◉ 2:19 Quelltext anzeigen
◉ 2:55 JSON.parse gefunden
◉ 4:45 Kommentare innerhalb von JSON gefunden
◉ 5:29 print(response.text)
◉ 6:09 x = response.text.split('JSON.parse')[2].replace("\\u0022","\"").lstrip("\(").split(" ")[0].replace("}\");","\"").replace("\"{","\""})
◉ 8:43 json.loads
◉ 12:27 Endausgabe
RTFM 📙 :
Danke fürs Zuschauen.
Bis bald, ja?
Dr P.