In diesem Video zeigen wir Schritt für Schritt, wie man programmgesteuert Indexbestandsdaten (wie den S&P 500) mit Python sammelt – die gleiche Art von Daten, für die professionelle Plattformen Tausende (oder Millionen) verlangen.
Du wirst lernen, wie man:
- Indexbestandsdaten von der Webseite mit Selenium scrapt
- Unordentliches HTML mit BeautifulSoup parst und bereinigt
- Die Daten normalisiert und validiert
- Die Ergebnisse in einer SQL-Datenbank für die langfristige Nutzung speichert
- Eine wiederverwendbare Pipeline erstellt, die du auf andere Indizes (Russell, MSCI, Sektor-ETFs usw.) erweitern kannst
Dies ist ein praxisnaher Data Engineering-Workflow, der für Finanzprofis, Quants und Entwickler konzipiert wurde, die die volle Kontrolle über ihre Daten haben möchten.
🧠 Für wen dieses Video gedacht ist
- Angehende Quant-Forscher
- Data Engineers, die im Finanzbereich arbeiten
- Aktienanalysten, die reproduzierbare Datenpipelines wünschen
- Jeder, der es leid ist, für grundlegende Indexbestandsdaten zu zahlen
🛠️ Verwendeter Tech-Stack
- Python
- Selenium
- BeautifulSoup
- SQL (datenbankunabhängig)
📂 Code & Ressourcen
- Alle im Video verwendeten Codes sind auf GitHub verfügbar
Fühle dich frei, das Repository zu forken, zu experimentieren und es an deine eigene Datenpipeline anzupassen.
Zeitstempel:
00:00 – Einführung
01:36 – Die iShares-Website
04:09 – Scraping von Indexbeständen mit Selenium
09:35 – Bereinigung und Validierung der Daten mit BeautifulSoup
19:20 – Visualisierung der Daten mit plotly
20:40 – Speicherung von Daten in SQL mit sqlite3
25:06 – Abschließende Gedanken