Lerne, robuste Web-Scraper zu erstellen, die moderne Anti-Bot-Systeme überwinden können. In diesem 5,5-stündigen Full-Stack-Kurs wirst du von grundlegenden Python-Skripten zu einem vollständigen MERN-Dashboard übergehen, das reale Daten von Amazon, Booking.com, Indeed und dem TIOBE-Index scrapt und visualisiert.
Am Ende dieses Kurses wirst du eine bereitgestellte Full-Stack-Anwendung haben, die ein React-Dashboard enthält, das live gescrapte Daten visualisiert. Es ist professionell genug, um es in dein Portfolio aufzunehmen oder als Produktionstemplate für Kundenarbeiten zu verwenden.
-🛠 Tech-Stack
- Sprachen: Python | JavaScript
- Scraping & Umgehung: Playwright | Cheerio | Evomi Scraping Browser | Evomi Scraper API | Residential Proxies
- Full-Stack: Node.js | Express | MongoDB | React | Vite | Bootstrap
✏️ Kurs entwickelt von @GavinLon
💻 Code
🏗️ Evomi hat einen Zuschuss bereitgestellt, um diesen Kurs möglich zu machen.
Kapitel
- 0:00:00 Einführung
- 0:12:44 Teil 1 - Web Scraping mit Python-Skripten - Übersicht
- 0:16:27 Scraping von booking.com mit Python-Skript und Evomis Scraping Browser
- 0:37:10 Scraping von indeed.com mit Python-Skript und Evomis Scraper API
- 0:48:39 Scraping von amazon.com mit Python-Skript und Evomis Core Residential Proxies
- 1:00:06 Teil 2 - Bestehen von Bot-Erkennungstests mit Evomis Scraping Browser - Übersicht
- 1:04:18 Zugriff auf die Bot-Erkennungs-Website mit JavaScript - Über Standard Playwright
- 1:13:29 Zugriff auf die Bot-Erkennungs-Website mit JavaScript - Über Evomis Scraping Browser
- 1:18:39 Teil 3 - Full-Stack-Web-Scraping-App mit MERN - Übersicht
- 1:22:11 Einrichtung zur Erstellung der Full-Stack-Webanwendung
- 1:28:17 Abhängigkeiten für das serverseitige Node-Projekt installieren
- 1:29:26 Erstelle die server.js Code-Datei
- 1:42:03 Erstelle die language.js Code-Datei - Um das Schema für das TIOBE-Index-Datenmodell zu definieren
- 1:51:18 Erstelle die tiobeService.js Code-Datei - Um Scraping-/Parsing-Code mit Evomis Scraper API und Cheerio zu erstellen
- 2:12:41 Erstelle die tiobeController.js Code-Datei - Um die Logik für eingehende HTTP-Anfragen zu verarbeiten
- 2:23:02 Schnelle Fehlerbehebungssitzung vor dem Testen des Codes über Postman
- 2:26:01 Teste das Scraping des TIOBE-Index über Postman
- 2:32:28 Erstelle den React-Code zur Anzeige der gescrapten TIOBE-Index-Daten
- 2:32:49 Richte das React-Client-Projekt mit VITE ein
- 2:35:50 Erstelle die Tiobe React-Komponente
- 2:50:17 Installiere Bootstrap und React-Router-Dom
- 3:07:24 Erstelle innerhalb von App.jsx die Route für die Tiobe-Komponente
- 3:26:35 Führe den React-Client aus, um die Tiobe React-Komponente zu testen
- 3:37:01 Behebe kosmetische Probleme
- 3:39:29 Führe den Code aus, um kosmetische Korrekturen zu testen
- 3:40:27 Wie man Poll-Anfragen an Evomi mit Evomis Scraper API sendet.
- 3:45:24 Implementiere serverseitigen Node-Code, um Amazon-Suchergebnisse zu scrapen
- 3:45:58 Erstelle die Amazon-Route in server.js
- 3:46:50 Erstelle das Buchmodell, um das Schema für Amazon-Suchdaten zu definieren
- 3:56:27 Erstelle die amazonService.js Code-Datei - Um Scraping- und Parsing-Code mit Evomis Scraper API und Cheerio zu erstellen
- 4:23:21 Erstelle die bookController.js Code-Datei - Um die Logik für eingehende HTTP-Anfragen zu verarbeiten
- 4:24:41 Stelle sicher, dass bookController.getAmazonBooks der Route zugeordnet ist
- 4:34:42 Teste den serverseitigen Node-Code für das Scraping von Amazon-Suchergebnissen mit Postman
- 4:36:41 Debugging-Sitzung - Behebe ein Problem
- 4:37:19 Führe den Code aus - Getestet mit erfolgreichen Ergebnissen
- 4:38:41 Erstelle React-Code zur Anzeige von Amazon-Suchergebnissen
- 4:40:06 Erstelle die Amazon React-Komponente
- 5:21:26 Teste den React-Code für das Amazon Web Scraping
- 5:25:12 Behebe kosmetische Probleme
- 5:27:20 Führe den Code aus, um kosmetische Korrekturen zu überprüfen
- 5:36:27 Outro