👇Baixar Artigo👇
IJERTV9IS050268
Rastreador Web Escalável Horizontalmente usando Containerização e uma Interface Gráfica
Ansuman Prusty, Pavan Kancherlapalli, Roland Schiebel, Aniket Shah, Aditya Suresh, Oscar Mejia
Rastreadores web (spiders), que indexam páginas na web e documentos na internet, existem quase desde o início da internet. À medida que a internet cresceu rapidamente nos últimos 25 anos, é impossível para rastreadores únicos percorrer e indexar a web de forma eficiente. Há muito mais usuários na internet agora, especificamente um grande número de usuários não técnicos, que gostariam de rastrear a web, mas não conseguem fazê-lo programaticamente. Nossa aplicação aborda essas preocupações, pois é um rastreador web escalável horizontalmente que utiliza containerização (Docker e Kubernetes) para escalabilidade e desempenho, e pode ser controlado convenientemente usando uma interface de usuário baseada na web. Nossa solução foca em ter instâncias de Crawler-Manager containerizadas separadas para cada solicitação de usuário que chega à aplicação, em vez de ter uma única instância de gerente centralizada. Ela suporta aprendizado de máquina para diminuir a quantidade de armazenamento necessário, armazenando apenas conteúdo que é classificado de acordo com rótulos de classe definidos pelo usuário. Também analisamos abordagens de rastreamento paralelo existentes e como elas se comparam à nossa solução.