Partie 2 de notre dernier projet Scrapy / Tutoriel de Web Scraping. Création de l'araignée.
Web Scraping d'un grand site avec "défilement infini" alias "AJAX charger plus".
(Ceci est basé sur un projet réel d'Upwork).
*** PARTIE 2 sur 7 ***
Cela couvre la configuration du code de l'araignée, la création de la classe araignée, le nom, les paramètres personnalisés, les urls de départ, les en-têtes, os.remove des fichiers de test, puis passe aux 2 fonctions principales : parse et parse_detail.
Comme toujours, j'écris l'araignée pour être exécutée en utilisant la syntaxe : "python3 nomdelaraignée.py
Vous pouvez maintenant voir comment exécuter Scrapy en tant que script Python.
Merci de commenter, de vous abonner, d'aimer, car cela demande beaucoup d'efforts et plus il y a de commentaires/retours, mieux nous pourrons adapter les futures vidéos pour vous.
Code GitHub
Cordialement,
Dr Pi.
#scrapy #défilementinfini #chargerplus