Partie 3 de notre dernier projet Scrapy / Tutoriel de Web Scraping. Récupération des liens.
Web Scraping d'un grand site avec "défilement infini" alias "AJAX charger plus".
(Ceci est basé sur un projet réel d'Upwork).
*** PARTIE 3 sur 7 ***
Cela couvre la récupération des liens derrière chaque vignette afin que nous puissions visiter la page et obtenir les détails.
Comme vu également dans l'une de mes récentes vidéos sur le json, j'utilise :
response.xpath("//script[@type='application/ld+json']/text()").get();
pour obtenir le json et le charger dans un dictionnaire à analyser.
À la fin de cette vidéo, nous avons 8 liens de la page des vignettes dans notre fichier CSV de sortie.
Merci de commenter, de vous abonner, d'aimer, car cela demande beaucoup d'efforts et plus il y a de commentaires/retours, mieux nous pourrons adapter les futures vidéos pour vous.
Code GitHub
Cordialement,
Dr Pi.
#scrapy #défilementinfini #chargerplus