Scrapy es una biblioteca de Python que maneja gran parte de la complejidad de encontrar y evaluar enlaces en un sitio web, raspando dominios o listas de dominios con facilidad.
Para recopilar los enlaces en un archivo json utiliza el siguiente comando:
scrapy crawl article -o articles.json (no uses -t json como he mostrado en el video)
Veamos cómo Scrapy es una herramienta poderosa que maneja muchos problemas asociados con el raspado de la Web.
------
----
----
Horario: Nuevos videos educativos cada semana
-----
¿Te gustaron mis tutoriales de web scraping? Echa un vistazo a esta solución genial:
Scraper API
Construye fácilmente web scrapers escalables
Scraper API maneja proxies, navegadores y CAPTCHAs, ¡así que puedes obtener el HTML de cualquier página web con una simple llamada a la API!
---
-----