Scrapy é uma biblioteca Python que lida com grande parte da complexidade de encontrar e avaliar links em um site, rastejando domínios ou listas de domínios com facilidade.
Para coletar os links em um arquivo json, use o seguinte comando:
scrapy crawl article -o articles.json (não use -t json como mostrei no vídeo)
Vamos ver como o Scrapy é uma ferramenta poderosa que resolve muitos problemas associados à raspagem da Web.
------
----
----
Agenda: Novos vídeos educacionais toda semana
-----
Você gostou dos meus tutoriais de web scraping? Confira esta solução incrível:
Scraper API
Construa facilmente web scrapers escaláveis
Scraper API lida com proxies, navegadores e CAPTCHAs, para que você possa obter o HTML de qualquer página da web com uma simples chamada de API!
---
-----