Web Scraping ist eine Technik, die es Ihnen ermöglicht, Informationen von Websites zu extrahieren.
Dieses Programmier-Tutorial zum Web Scraping mit Python wird Ihnen ermöglichen:
- Ihre ersten Schritte im Scraping zu machen (um mit requests und beautifulsoup zu beginnen)
- Die Mechanismen zum Schutz gegen Scraping zu lernen und zu umgehen
- Die rechtlichen Regeln bezüglich Scraping zu kennen
- Ein fortgeschrittenes Projekt zu erstellen, das es Ihnen ermöglicht, jede Website zu scrapen.
- KI (ChatGPT) zu nutzen, um Ihnen bei der Code-Generierung zu helfen.
----------------------------------------------------------
Voraussetzungen:
----------------------------------------------------------
Die Links:
1️⃣ Dieses Video ist in Partnerschaft mit Brightdata (professionelle Scraping-Lösung), die Ihnen 15$ Guthaben über diesen Link anbietet:
https://brdta.com/CodeAvecJonathan(Dieser Link bringt mir keine Provision, er ermöglicht Ihnen nur, dieses Tutorial kostenlos zu verfolgen)
----------------------------------------------------------
Das Programm:
00:00:00 Einführung
00:01:50 Voraussetzungen
00:02:10 Das Programm
00:02:31 TEIL 1 - Ihre ersten Schritte im Scraping
00:04:18 Eine HTTP-Anfrage machen (requests)
00:13:36 Informationen extrahieren (Titel + Beschreibung)
00:23:33 Mehrere Elemente abrufen (Zutaten)
00:27:40 Übung: Vorbereitungsschritte
00:30:22 Tipps, um weiterzukommen (generieren Sie Code mit ChatGPT / üben Sie mit scrapethissite.com)
00:33:16 TEIL 2 - Schutzmaßnahmen gegen Scraping
00:36:34 User-Agent: sich als Browser ausgeben
00:41:28 Probleme mit Javascript
00:44:13 Headless Browsing: Probleme mit Javascript umgehen
00:45:42 Professionelle Scraping-Lösungen: IP-Rotationen, Proxys, Anti-Captcha…
00:48:03 TEIL 3 - Ist Scraping legal?
00:50:56 TEIL 4 - Fortgeschrittenes Scraping-Projekt
00:52:23 Geschützte Websites: Grenzen des aktuellen Skripts
00:55:51 Die Schritte des Projekts
00:56:54 Erstellen Sie Ihr Konto auf BrightData.com
00:58:18 Verstehen: Der WebUnlocker und ScrapingBrowser
00:59:37 Nutzung des Web Unlockers
01:11:44 Nutzung des Scraping Browsers
01:17:39 Den Scraping-Modus umgehen
01:21:22 Informationen extrahieren (Titel)
01:26:53 Informationen extrahieren (Anzahl der Bewertungen, Preis, Beschreibung)
01:37:19 Mehrere URLs, Daten speichern, planen
01:42:53 Inhalte mit der ChatGPT-API umformulieren
01:45:57 Fazit
----------------------------------------------------------
Über mich:
Ich bin ein leidenschaftlicher Entwickler mit über 19 Jahren Berufserfahrung und derzeit freiberuflicher Entwickler, spezialisiert auf mobile iOS- und Android-Anwendungen sowie Webserver. Ich arbeite remote mit meinen Kunden.
Auf diesem Kanal lade ich Sie ein, Programmierung auf eine andere Weise zu entdecken: Ich bringe Ihnen meine Didaktik und meine professionellen Techniken näher.
Das Ziel? Ihnen zu ermöglichen, Programmierung zu lernen, ein besserer Entwickler zu werden, sich zu professionalisieren und warum nicht, Ihr Leben zu verändern.
Abonnieren Sie den Kanal, um Zugang zu neuen Videos zu den folgenden Themen zu erhalten:
- Programmier-Tutorials (Python, C#, .NET, ...)
- Freiberuflicher Entwickler werden
- Nutzung generativer KI (ChatGPT, Midjourney...)