Scrapy ist ein leistungsstarkes, prägnantes und umfassendes Web-Scraping-Framework in Python. Es kann verwendet werden, um jede Website zu scrapen. In dieser Demo bespreche ich, wie man das Scrapy-Framework auf Mac und Windows installiert. Wie man eine Website für das Scraping analysiert. Schließlich zeige ich, wie man das Scrapy-Framework verwendet, um die Website goodreads.com für unsere Bildungszwecke zu scrapen. Schau dir den vollständigen Kurs zum Web Scraping in Python auf Udemy an:
https://www.udemy.com/web-scraping-in-python/🚀 Themen Klicke, um direkt zu gehen
⌨️ 0:00 | Einführung
⌨️ 1:04 | Scrapy-Setup auf Mac
⌨️ 4:07 | Scrapy-Setup auf Windows
⌨️ 9:49 | Website-Analyse
⌨️ 15:22 | Programmierung
Python ist eine interpretierte Hochsprache für die allgemeine Programmierung. Sie wurde von Guido Van Rossum initiiert und erstmals 1991 veröffentlicht. Es ist eine Duck-Typ-Sprache, leicht verständlich und jetzt sehr beliebt in der akademischen und professionellen Welt.
Mit Python kann man ein einfaches Skript zur Web-App-Entwicklung schreiben. Auch im maschinellen Lernen oder im Deep Learning ist Python sehr beliebt, da es einige herausragende Open-Source-Bibliotheken hat.
Python 3 hat eine integrierte IDLE – Interactive Development Environment, die automatisch installiert wird. Wenn du es ausführst, siehst du das folgende Fenster. Oben links kannst du die installierte Versionsnummer sehen, hier sehen wir Python 3.7
Web Scraping ist eine Technik, um Daten von einer Webseite mithilfe eines Computerprogramms zu extrahieren. Python ist eine sehr beliebte Sprache für Web Scraping. Die integrierte urllib-Bibliothek von Python, um sich mit Websites zu verbinden und Daten abzurufen, und die Drittanbieter-Bibliothek BeautifulSoup zum Parsen von HTML-Daten sind eine sehr beliebte Kombination für das Web Scraping mit Python.
Manchmal möchten wir auch Informationen von einer Webseite scrapen, die vollständig durch das JavaScript-Framework geladen wird. Bei normalen Scraping-Techniken ist es nicht möglich, Daten zu scrapen, da die Daten faul geladen werden. Wir können sowohl das Testen von Webseiten als auch das Scraping dynamischer Webseiten lösen, indem wir JavaScript-Code mit der Selenium-Bibliothek ausführen.
http://bit.ly/2PLLlud#python_web_scraping #python #scrapy