#scrapy #webscraping #python
Code Scrapy + Python pour extraire des données disponibles publiquement à partir d'annonces immobilières.
À l'origine basé sur la vidéo de CMK sur l'immobilier à Bahreïn, nous avons décidé d'explorer une autre façon d'écrire le code pour obtenir le même résultat et voici le résultat !
▸Le code commence à 10:20
**désolé pour les 30 secondes juste avant où le texte est en bas de l'écran... ma faute !
▸ Public cible : Utilisateurs de Scrapy de niveau débutant à intermédiaire
▸ Purement pour démontrer xpath, nous avons écrit tous les sélecteurs pour utiliser xpath
▸ ItemLoader a été utilisé avec le fichier items.py pour permettre l'utilisation de processeurs d'entrée et de sortie
▸ add_value a également été utilisé, avec add_xpath pour remplir les champs de Scrapy
▸ Regardez pour voir l'écriture du code, la correction de quelques fautes de frappe et le succès avec le résultat final souhaité au format csv.
Ce format de code peut être modifié pour être utilisé pour d'autres sites - et l'avantage d'utiliser l'ItemLoader est que si vous aviez une autre araignée similaire à écrire, vous pourriez accéder aux mêmes champs dans items.py si vous choisissiez d'importer ce même module.
Ce code n'est pas censé être "meilleur" que l'original écrit par Maksim, il y a des avantages à son code, c'est-à-dire, juste un fichier, tout est autonome. Nous avons simplement cherché à illustrer l'utilisation des sélecteurs xpath, de l'ItemLoader et des processeurs d'entrée/sortie comme une alternative pour le scraping d'un site immobilier.
Il y a aussi d'autres petits conseils dans la vidéo, comme l'édition du fichier de paramètres, pour vous permettre de travailler avec la console Scrapy lorsqu'elle affiche 'interdit'.
Crédit : Merci à Maskim Korzh pour le code original qui m'a donné l'idée.
Crédit : Ahmed Rafik Djerah pour les exemples de code suivants :
-- utiliser des xpaths au lieu de css, -- ItemLoader -- nouveau "next_page"
J'espère que vous apprendrez/apprécierez.
Merci de commenter.
À bientôt !
Dr Pi
Personne ne m'a encore acheté un café/thé.