Python, NoSQL & FastAPI Tutorial: Web Scraping nach Plan
In dieser Reihe lernen Sie, wie Sie:
- Cassandra mit Python, FastAPI und Celery integrieren
- Astra DB (verwaltete Cassandra-Datenbank) einrichten und konfigurieren
- Aufgaben mit Celery planen und auslagern
- Techniken zum Web Scraping anwenden
- Selenium und requests-html verwenden, um Daten zu extrahieren und zu parsen
Links
0:00:00 Willkommen
00:00:58 Demo
00:12:58 Übersicht & Anforderungen
00:15:22 Projektsetup
00:19:26 Start der Python- und Cassandra-Integration
00:25:11 Python Cassandra-Treiber konfigurieren
00:30:13 Ihr erstes Cassandra-Modell
00:36:08 Daten mit unserem Cassandra-Modell erstellen
00:43:20 Eine neue Spalte zu einem bestehenden Modell hinzufügen
00:46:26 UUID1 als Primärschlüssel verwenden
00:55:19 Jupyter mit Cassandra-Modellen verwenden
01:06:35 Pydantic für Datenvalidierung und -bereinigung verwenden
01:14:22 FastAPI & Umgebungsvariablen
01:21:26 FastAPI + Cassandra & Pydantic
01:36:01 Cassandra UUID-Feld in Pydantic Datetime Strv umwandeln
01:44:50 Endpunkt zum Einpflegen von Daten für FastAPI & AstraDB
01:56:41 Celery, Redis & grundlegende Aufgaben-Auslagerung
02:13:18 Cassandra-Treiber mit Celery integrieren
02:23:47 Periodische Aufgaben ausführen
02:35:24 Grundlegendes Scraping mit Selenium
02:45:35 Selenium & JavaScript Endlos-Scrolling
02:52:52 requests-html & Daten parsen
03:11:34 Den Scrape Client Parser implementieren
03:27:20 Alles zusammenfügen
03:36:58 Danke