Scrapy ist eine Python-Bibliothek, die einen Großteil der Komplexität beim Finden und Bewerten von Links auf einer Website sowie beim Crawlen von Domains oder Listen von Domains mühelos bewältigt.
Um die Links in einer JSON-Datei zu sammeln, verwenden Sie den folgenden Befehl:
scrapy crawl article -o articles.json (verwenden Sie nicht -t json, wie ich im Video gezeigt habe)
Lassen Sie uns sehen, wie Scrapy ein leistungsstarkes Tool ist, das viele Probleme im Zusammenhang mit dem Crawlen des Webs löst.
------
----
----
Zeitplan: Neue Bildungsvideos jede Woche
-----
Hat Ihnen mein Web Scraping Tutorial gefallen? Schauen Sie sich diese coole Lösung an:
Scraper API
Easily Build Scalable Web Scrapers
Scraper API kümmert sich um Proxys, Browser und CAPTCHAs, sodass Sie das HTML von jeder Webseite mit einem einfachen API-Aufruf abrufen können!
---
-----