Partie 5 de notre dernier projet Scrapy / Tutoriel de Web Scraping. Récupération du texte caché.
Web Scraping d'un grand site avec "défilement infini" alias "chargement AJAX plus".
(Ceci est basé sur un projet réel d'Upwork).
*** PARTIE 5 sur 7 ***
Cette vidéo couvre la récupération du texte caché, caché jusqu'à ce que "cliquer pour plus" soit utilisé dans un navigateur. Nous l'obtenons à partir du json...
Encore une fois, nous pouvons utiliser :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Cela extrait le json et nous permet d'analyser le dictionnaire que nous en obtenons.
Merci de commenter, de vous abonner, d'aimer, car cela demande beaucoup d'efforts et plus il y a de commentaires/retours, mieux nous pourrons adapter les futures vidéos pour vous.
Code GitHub
Cordialement,
Dr Pi.
#scrapy #défilementinfini #chargerplus