El web scraping ha cambiado y una simple solicitud HTTP con un analizador HTML ya no te llevará muy lejos. Deja que Ondra, Jefe de Ingeniería de Entregas en Apify, te lleve en un viaje por la última tecnología que su equipo utiliza todos los días para el web scraping. Navegadores sin cabeza, huellas digitales, encabezados generados, proxies residenciales, monitoreo de tráfico de aplicaciones móviles y otras herramientas pueden marcar la diferencia entre raspar 10 páginas y 10 millones de páginas. Y no te preocupes, es perfectamente legal; puedes comprobarlo tú mismo en el reciente artículo de Ondra sobre la legalidad del web scraping:
https://blog.apify.com/is-web-scraping-legal/Un poco más sobre Ondra:
Ondra puede ser un hacker de la era del navegador, pero eso no significa que derribe sistemas, robe datos personales o comercie secretos. En cambio, se especializa en extraer terabytes de datos disponibles públicamente y traducirlos a un lenguaje que las máquinas puedan entender. En Apify, Ondra lidera un equipo de hackers que ayuda a hacer crecer sus proyectos de código abierto, rompe muros anti-scraping y experimenta con IA. Si te gustaría unirte a su equipo, ¡estamos contratando!
https://apify.com/jobsEste video es una grabación del discurso de Ondra que presentó en WebExpo 2021 y se publica con el permiso del equipo de WebExpo.
#webscraping #webexpo #Apify