Schau dir mein Patreon an!
Willkommen zurück zum nächsten Teil unserer Python für Daily Fantasy Sports Serie!
In diesem Video werden wir ein fortgeschritteneres Tool für Web Scraping lernen,
namens Selenium. Selenium ist ein Python-Paket, das die Interaktion mit
Webseiten über das bloße Aktualisieren der URL hinaus ermöglicht.
Wir werden Selenium zusätzlich zu Beautiful Soup für unsere Web Scraping-Bedürfnisse
verwenden, also wenn du mit Beautiful Soup nicht vertraut bist, werde ich hier oben einen Link
zu meinen vorherigen Beautiful Soup-Videos posten.
Jetzt lass uns mit dem Programmieren beginnen.
Anforderungen::
Alles aus dem BS4 Tutorial
+
Pip Install Selenium
Gecko Driver
Gecko Erklärung
- Gecko ist im Grunde eine Schnittstelle, die es ermöglicht, Firefox von einer dritten
Partei, also deinem Python-Code, zu steuern. Du musst auf dem neuesten Stand von Firefox und Gecko sein; wenn du
Code schreibst, der funktioniert, und er später nicht mehr funktioniert, ist dies ein wahrscheinliches Problem.
Selenium Dokumentation
--Wichtige Funktionen/Prozesse, die benötigt werden für
Finden von Elementen
Auswählen von Elementen
Diese Taktiken ermöglichen es uns, Interaktionen mit den Webseiten zu automatisieren,
was Web Scraping in größerem Maßstab VIEL effizienter macht.
Zum Beispiel:
NBA.com Statistiken, jede Seite muss interagiert werden, um die
Statistiken abzurufen. Die URL kann uns nur zur Landingpage der Top 50 Ergebnisse bringen.
Die URL kann in einer Schleife verwendet werden, um verschiedene Statistikseiten abzudecken, aber wir müssen
mit der Webseite selbst interagieren, um voranzukommen.
Warum es wichtig ist, zu verstehen, wie man die Elemente auf der Seite inspiziert,
sehr ähnlich zu der Art und Weise, wie wir die Tabelle festgelegt haben, die wir im
Beautiful Soup Tutorial verwenden wollten. Jetzt müssen wir die Elemente auf der
Seite identifizieren, mit denen wir interagieren möchten, und dann, wie wir mit ihnen interagieren.