Partie 4 de notre dernier projet Scrapy / Tutoriel de Web Scraping. Analyse des détails.
Web Scraping d'un grand site avec "défilement infini" alias "chargement AJAX plus".
(Ceci est basé sur un projet réel d'Upwork).
*** PARTIE 4 sur 7 ***
Cette vidéo couvre la fonction "parse_detail", utilisée pour extraire les recettes.
Encore une fois, nous pouvons utiliser :
res = response.xpath("//script[@type='application/ld+json']/text()").get();
Cela extrait du json et nous permet d'analyser le dictionnaire que nous en obtenons.
Nous obtenons également le nombre de dictionnaires dans une liste et itérons à travers chaque dictionnaire pour extraire la valeur de la CLÉ 'text' que nous devons ajouter à notre liste - la même liste qui stocke la recette !
Merci de commenter, de vous abonner, d'aimer, car cela demande beaucoup d'efforts et plus il y a de commentaires/retours, mieux nous pourrons adapter les futures vidéos à vos besoins.
Code GitHub
Cordialement,
Dr Pi.
#scrapy #défilementinfini #chargerplus