Mesmo usuários que têm experiência com web scraping podem se sentir perplexos com a multitude de desafios que a escalabilidade pode frequentemente criar. Em algum momento, todos os projetos de scraping em crescimento precisam lidar de alguma forma com a questão da escalabilidade; portanto, ter uma discussão aprofundada sobre este tópico é de importância inigualável. Isso é especialmente relevante quando consideramos que nosso anfitrião, Augustinas Kalvis, trouxe um convidado muito especial, Eivydas Vilčinskas, que é Líder de Equipe de Tecnologia aqui na Oxylabs. Tendo trabalhado com escalabilidade desde o início de sua carreira de cinco anos na Oxylabs, seria difícil encontrar alguém mais adequado para nos dar insights cruciais sobre um tópico tão crítico quanto a escalabilidade.
Neste episódio você aprenderá:
0:00 Introdução
1:39 A jornada de Eivydas com escalabilidade
2:50 Como você passa de um pequeno serviço para milhares de requisições por segundo?
4:31 Compreendendo os conceitos subjacentes da escalabilidade
5:59 Exemplo de escalabilidade
7:35 Como faço para que minha aplicação funcione para mais pessoas?
9:40 Scraping deve ter cargas leves na CPU
11:54 Devo monitorar minha aplicação antes de escalar?
13:12 Ferramentas para um pequeno número de requisições
16:07 Se a CPU é meu gargalo, como faço para escalá-la?
17:01 Escalabilidade Horizontal vs. Vertical
21:06 Escalabilidade é sobre a relação preço-tempo
22:09 Que tipo de aumento de requisições uma CPU melhor poderia obter?
25:29 Balanceadores de carga
27:56 O que acontece se escalarmos de 1 para 10 aplicações?
29:01 Executar mais aplicações é a melhor abordagem para escalabilidade?
30:59 Outros recursos/gargalos e questões de conexões de internet padrão
36:06 Como você escala horizontalmente uma conexão de rede?
40:29 Como entrar em soluções multi-nuvem?
41:40 Tornando nosso exemplo/aplicação de scraping mais complexo
43:28 Dividir o trabalho é fundamental
45:38 A importância de utilizar seus recursos
47:30 Monólito vs. abordagens de múltiplos serviços
49:57 O consumo de recursos é a principal preocupação?
51:45 Que outras abordagens existem para gerenciar microserviços?
54:44 Introduzir microserviços requer repensar, mas oferece valor
55:53 Encerramento
*As informações fornecidas neste episódio são baseadas no uso que nossos clientes fazem das soluções e ferramentas inovadoras da Oxylabs para scraping de dados disponíveis publicamente.
Siga-nos nas redes sociais:
A Oxylabs é um provedor de serviços de proxy premium que oferece ferramentas e recursos para coleta de dados públicos. A empresa acredita que todo negócio, grande ou pequeno, precisa ter acesso a dados públicos valiosos.
© 2022 Oxylabs. Todos os direitos reservados.
#Oxylabs #OxyCast #Escalabilidade