Scrapy est une bibliothèque Python qui gère une grande partie de la complexité de la recherche et de l'évaluation des liens sur un site web, en explorant des domaines ou des listes de domaines avec aisance.
Pour collecter les liens dans un fichier json, utilisez la commande suivante :
scrapy crawl article -o articles.json (ne pas utiliser -t json comme je l'ai montré dans la vidéo)
Voyons comment Scrapy est un outil puissant qui résout de nombreux problèmes associés à l'exploration du Web.
------
----
----
Horaire : Nouvelles vidéos éducatives chaque semaine
-----
Avez-vous apprécié mes tutoriels de web scraping ? Découvrez cette solution géniale :
Scraper API
Construisez facilement des web scrapers évolutifs
Scraper API gère les proxies, les navigateurs et les CAPTCHA, vous permettant d'obtenir le HTML de n'importe quelle page web avec un simple appel API !
---
-----