Incluso los usuarios con experiencia en web scraping pueden sentirse perplejos por la multitud de desafíos que la escalabilidad puede crear. En algún momento, todos los proyectos de scraping en crecimiento tienen que lidiar de alguna manera con el problema de la escalabilidad; por lo tanto, tener una discusión profunda sobre este tema es de importancia inigualable. Esto es especialmente cierto cuando consideramos que nuestro anfitrión, Augustinas Kalvis, ha traído a un invitado muy especial, Eivydas Vilčinskas, quien es el Líder del Equipo Técnico aquí en Oxylabs. Habiendo trabajado con escalabilidad desde el principio de su carrera de cinco años en Oxylabs, sería difícil encontrar a alguien más adecuado para darnos información crucial sobre un tema tan crítico como la escalabilidad.
En este episodio aprenderás:
0:00 Introducción
1:39 El viaje de Eivydas con la escalabilidad
2:50 ¿Cómo pasas de un servicio pequeño a miles de solicitudes por segundo?
4:31 Entendiendo los conceptos subyacentes de la escalabilidad
5:59 Ejemplo de escalabilidad
7:35 ¿Cómo hago que mi aplicación funcione para más personas?
9:40 El scraping debería tener cargas ligeras en la CPU
11:54 ¿Debería monitorear mi aplicación antes de escalar?
13:12 Herramientas para un pequeño número de solicitudes
16:07 Si la CPU es mi cuello de botella, ¿cómo la escalo?
17:01 Escalabilidad horizontal vs. vertical
21:06 La escalabilidad se trata de la relación precio-tiempo
22:09 ¿Qué tipo de aumento de solicitudes podría obtener una mejor CPU?
25:29 Balanceadores de carga
27:56 ¿Qué pasa si escalamos de 1 a 10 aplicaciones?
29:01 ¿Es ejecutar más aplicaciones el mejor enfoque para escalar?
30:59 Otros recursos/cuellos de botella y el problema de las conexiones a internet estándar
36:06 ¿Cómo escalas horizontalmente una conexión de red?
40:29 ¿Cómo entrar en soluciones multi-nube?
41:40 Haciendo nuestro ejemplo/aplicación de scraping más complejo
43:28 Dividir el trabajo es clave
45:38 La importancia de utilizar tus recursos
47:30 Enfoques monolíticos vs. de múltiples servicios
49:57 ¿Es el consumo de recursos la principal preocupación?
51:45 ¿Qué otros enfoques existen para gestionar microservicios?
54:44 Introducir microservicios requiere repensar, pero ofrece valor
55:53 Conclusión
*La información proporcionada en este episodio se basa en el uso de soluciones y herramientas innovadoras de Oxylabs por parte de nuestros clientes para el scraping de datos disponibles públicamente.
Síguenos en redes sociales:
Oxylabs es un proveedor de servicios de proxy premium que ofrece herramientas y recursos para la recolección de datos públicos. La empresa cree que cada negocio, grande o pequeño, necesita tener acceso a datos públicos valiosos.
© 2022 Oxylabs. Todos los derechos reservados.
#Oxylabs #OxyCast #Escalabilidad