Hey, was geht ab, Leute. Gemeinsam haben wir zahlreiche Tutorials zum Web Scraping durchgearbeitet und die Bibliotheken Requests + Beautiful Soup sowie das Scrapy-Framework gemeistert, aber heute möchte ich etwas tiefer in den Web Scraping-Prozess eintauchen und ihn in zwei Hauptteile aufteilen: HTTP-Anfragen stellen und Inhalte parsen. Dieses Video behandelt den ersten Teil - wir werden die Methoden get() und post() erstellen, um die jeweiligen HTTP-Anfragen auszulösen und in der Lage zu sein, Datenpayloads zusammen mit benutzerdefinierten Headern bereitzustellen.
Nehmt das nicht zu ernst, es ist eher für Bildungszwecke gedacht als für den Produktionsgebrauch)
Quellcode
Vollständiges Projekt
Nächster Teil (Implementierung des HTML-Parsers)