#scrapy #webscraping #python
Scrapy + Python-Code zum Extrahieren öffentlich verfügbarer Daten aus Immobilienanzeigen.
Ursprünglich basierend auf CMKs Video über Immobilien in Bahrain haben wir uns entschieden, einen anderen Weg zu finden, um den Code zu schreiben, um dasselbe Ergebnis zu erzielen, und hier ist das Ergebnis!
▸Der Code beginnt um 10:20
**Entschuldigung für die 30 Sekunden davor, in denen der Text am unteren Bildschirmrand abgeschnitten ist... mein Fehler!
▸ Zielgruppe: Anfänger bis Fortgeschrittene Scrapy-Nutzer
▸ Um xpath zu demonstrieren, haben wir alle Selektoren so geschrieben, dass sie xpath verwenden
▸ ItemLoader wurde mit der Datei items.py verwendet, um die Verwendung von Eingangs- und Ausgangsprozessoren zu ermöglichen
▸ add_value wurde ebenfalls verwendet, zusammen mit add_xpath, um Scrapy-Felder zu füllen
▸ Schau zu, um das Schreiben des Codes, das Beheben einiger Tippfehler und den Erfolg mit dem gewünschten endgültigen Ergebnis im CSV-Format zu sehen.
Dieses Codeformat kann modifiziert werden, um für andere Seiten verwendet zu werden - und der Vorteil der Verwendung des ItemLoaders ist, dass, wenn du einen ähnlichen Spider schreiben würdest, du auf dieselben Felder in items.py zugreifen könntest, wenn du dich entscheidest, dasselbe Modul zu importieren.
Dieser Code soll nicht "besser" sein als das Original, das von Maksim geschrieben wurde; es gibt Vorteile seines Codes, d.h. nur eine Datei, alles in sich geschlossen. Wir haben lediglich versucht, die Verwendung von xpath-Selektoren, ItemLoader und Eingangs-/Ausgangsprozessoren als alternative Methode zum Scraping einer Immobilienseite zu veranschaulichen.
Es gibt auch andere kleine Tipps im Video, wie das Bearbeiten der Einstellungsdatei, um dir zu ermöglichen, mit der Scrapy-Shell zu arbeiten, wenn sie 'verboten' anzeigt.
Credit: Danke an Maskim Korzh für den ursprünglichen Code, der mir die Idee gegeben hat.
Credit: Ahmed Rafik Djerah für die folgenden Codebeispiele:
-- verwende xpaths anstelle von css, -- ItemLoader -- neues "next_page"
Ich hoffe, du lernst/ hast Spaß.
Bitte kommentiere.
Bis bald!
Dr Pi
Immer noch hat mir niemand einen verdammten Kaffee/Tee gekauft.