Selbst erfahrene Nutzer von Web-Scraping können von der Vielzahl an Herausforderungen, die die Skalierung oft mit sich bringt, perplex sein. Irgendwann müssen alle wachsenden Scraping-Projekte sich mit dem Skalierungsproblem auseinandersetzen; daher ist eine eingehende Diskussion zu diesem Thema von unschätzbarem Wert. Dies gilt insbesondere, wenn wir berücksichtigen, dass unser Gastgeber, Augustinas Kalvis, einen ganz besonderen Gast mitgebracht hat, Eivydas Vilčinskas, der hier bei Oxylabs als Tech Team Lead tätig ist. Da er seit Beginn seiner fünfjährigen Karriere bei Oxylabs mit Skalierung gearbeitet hat, wäre es schwierig, jemanden zu finden, der besser geeignet ist, uns entscheidende Einblicke in ein so kritisches Thema wie die Skalierung zu geben.
In dieser Episode erfahren Sie:
0:00 Intro
1:39 Eivydas' Weg zur Skalierung
2:50 Wie geht man von einem kleinen Dienst zu Tausenden von Anfragen pro Sekunde über?
4:31 Die zugrunde liegenden Konzepte der Skalierung verstehen
5:59 Beispiel für Skalierbarkeit
7:35 Wie mache ich meine Anwendung für mehr Nutzer funktionsfähig?
9:40 Scraping sollte geringe Lasten auf der CPU verursachen
11:54 Sollte ich meine Anwendung vor der Skalierung überwachen?
13:12 Werkzeuge für eine geringe Anzahl von Anfragen
16:07 Wenn die CPU mein Engpass ist, wie skaliere ich sie?
17:01 Horizontale vs. vertikale Skalierung
21:06 Skalierbarkeit betrifft das Preis-Leistungs-Verhältnis
22:09 Welche Art von Anstieg der Anfragen könnte eine bessere CPU bewirken?
25:29 Lastenausgleich
27:56 Was passiert, wenn wir von 1 auf 10 Anwendungen skalieren?
29:01 Ist das Ausführen von mehr Anwendungen der beste Ansatz zur Skalierung?
30:59 Weitere Ressourcen/Engpässe und Probleme mit Standard-Internetverbindungen
36:06 Wie skaliert man eine Netzwerkverbindung horizontal?
40:29 Wie kommt man zu Multi-Cloud-Lösungen?
41:40 Unser Scraping-Beispiel/anwendung komplexer gestalten
43:28 Arbeitsteilung ist der Schlüssel
45:38 Die Bedeutung der Nutzung Ihrer Ressourcen
47:30 Monolithische vs. Multi-Service-Ansätze
49:57 Ist der Ressourcenverbrauch das Hauptanliegen?
51:45 Welche anderen Ansätze gibt es zur Verwaltung von Microservices?
54:44 Die Einführung von Microservices erfordert ein Umdenken, bietet jedoch Wert
55:53 Outro
*Die in dieser Episode bereitgestellten Informationen basieren auf der Nutzung innovativer Lösungen und Werkzeuge von Oxylabs durch unsere Kunden zum Scraping öffentlich verfügbarer Daten.
Folgen Sie uns in den sozialen Medien:
Oxylabs ist ein Premium-Proxy-Service-Anbieter, der Werkzeuge und Ressourcen für die Sammlung öffentlicher Daten anbietet. Das Unternehmen ist der Meinung, dass jedes Unternehmen, egal ob groß oder klein, Zugang zu wertvollen öffentlichen Daten haben sollte.
© 2022 Oxylabs. Alle Rechte vorbehalten.
#Oxylabs #OxyCast #Skalierbarkeit