👇Descargar artículo👇
IJERTV9IS050268
Rastreador web escalable horizontalmente utilizando contenedorización y una interfaz gráfica de usuario
Ansuman Prusty, Pavan Kancherlapalli, Roland Schiebel, Aniket Shah, Aditya Suresh, Oscar Mejia
Los rastreadores web (spiders), que indexan páginas en la web y documentos en internet, han existido casi desde el principio de internet. A medida que internet ha crecido muy rápidamente en los últimos 25 años, es imposible que rastreadores individuales puedan rastrear e indexar la web de manera eficiente. Ahora hay muchos más usuarios en internet, específicamente un gran número de usuarios no técnicos, que les gustaría rastrear la web pero no pueden hacerlo de manera programática. Nuestra aplicación aborda estas preocupaciones, ya que es un rastreador web escalable horizontalmente que utiliza contenedorización (Docker y Kubernetes) para escalabilidad y rendimiento, y puede ser controlado de manera conveniente utilizando una interfaz gráfica de usuario basada en la web. Nuestra solución se centra en tener instancias de Crawler-Manager en contenedores separados para cada solicitud de usuario entrante a la aplicación, en lugar de tener una instancia de administrador centralizada. Soporta aprendizaje automático para disminuir la cantidad de almacenamiento necesario al almacenar solo contenido que está clasificado de acuerdo con las etiquetas de clase definidas por el usuario. También analizamos enfoques de rastreo paralelo existentes y cómo se comparan con nuestra solución.