Même les utilisateurs ayant de l'expérience en web scraping peuvent se retrouver perplexes face à la multitude de défis que la mise à l'échelle peut souvent créer. À un moment donné, tous les projets de scraping en croissance doivent d'une manière ou d'une autre faire face à la question de la mise à l'échelle ; par conséquent, avoir une discussion approfondie sur ce sujet est d'une importance inégalée. C'est particulièrement le cas lorsque nous considérons que notre hôte, Augustinas Kalvis, a amené avec lui un invité très spécial, Eivydas Vilčinskas, qui est responsable de l'équipe technique ici chez Oxylabs. Ayant travaillé sur la mise à l'échelle depuis le tout début de sa carrière de cinq ans chez Oxylabs, il serait difficile de trouver quelqu'un de mieux placé pour nous donner des informations cruciales sur un sujet aussi critique que la mise à l'échelle.
Dans cet épisode, vous apprendrez :
0:00 Introduction
1:39 Le parcours d'Eivydas avec la mise à l'échelle
2:50 Comment passer d'un petit service à des milliers de requêtes par seconde ?
4:31 Comprendre les concepts sous-jacents de la mise à l'échelle
5:59 Exemple de scalabilité
7:35 Comment faire fonctionner mon application pour plus de personnes ?
9:40 Le scraping doit avoir des charges légères sur le CPU
11:54 Dois-je surveiller mon application avant de mettre à l'échelle ?
13:12 Outils pour un petit nombre de requêtes
16:07 Si le CPU est mon goulet d'étranglement, comment puis-je le mettre à l'échelle ?
17:01 Mise à l'échelle horizontale vs. verticale
21:06 La scalabilité concerne le rapport prix/temps
22:09 Quel type d'augmentation de requêtes un meilleur CPU pourrait-il obtenir ?
25:29 Équilibreurs de charge
27:56 Que se passe-t-il si nous mettons à l'échelle de 1 à 10 applications ?
29:01 Est-ce que faire fonctionner plus d'applications est la meilleure approche pour la mise à l'échelle ?
30:59 Autres ressources/goulets d'étranglement et problème des connexions Internet standard
36:06 Comment mettre à l'échelle horizontalement une connexion réseau ?
40:29 Comment entrer dans des solutions multi-cloud ?
41:40 Rendre notre exemple/application de scraping plus complexe
43:28 Diviser le travail est essentiel
45:38 L'importance d'utiliser vos ressources
47:30 Approches monolithiques vs. multi-services
49:57 La consommation de ressources est-elle la principale préoccupation ?
51:45 Quelles autres approches existent pour gérer les microservices ?
54:44 Introduire des microservices nécessite une reconsidération mais offre de la valeur
55:53 Conclusion
*Les informations fournies dans cet épisode sont basées sur l'utilisation par nos clients des solutions et outils innovants d'Oxylabs pour le scraping de données publiquement disponibles.
Suivez-nous sur les réseaux sociaux :
Oxylabs est un fournisseur de services de proxy premium qui offre des outils et des ressources pour la collecte de données publiques. L'entreprise croit que chaque entreprise, grande ou petite, doit avoir accès à des données publiques précieuses.
© 2022 Oxylabs. Tous droits réservés.
#Oxylabs #OxyCast #Scalabilité