A raspagem da web mudou e um simples pedido HTTP com um parser HTML não vai te levar muito longe. Deixe Ondra, Head of Delivery Engineering @ Apify, te levar em uma jornada pelas tecnologias mais recentes que sua equipe usa todos os dias para raspagem da web. Navegadores headless, impressões digitais, cabeçalhos gerados, proxies residenciais, monitoramento de tráfego de aplicativos móveis e outras ferramentas podem significar a diferença entre raspar 10 páginas e 10 milhões de páginas. E não se preocupe, é perfeitamente legal - você pode conferir por si mesmo no artigo recente de Ondra sobre a legalidade da raspagem da web:
https://blog.apify.com/is-web-scraping-legal/Um pouco mais sobre Ondra:
Ondra pode ser um hacker da era dos navegadores, mas isso não significa que ele derruba sistemas, rouba dados pessoais ou troca segredos. Em vez disso, ele se especializa em extrair terabytes de dados disponíveis publicamente e traduzi-los em uma linguagem que as máquinas possam entender. Na Apify, Ondra lidera uma equipe de hackers que ajuda a desenvolver seus projetos de código aberto, quebra barreiras anti-raspagem e experimenta com IA. Se você gostaria de se juntar à equipe dele, estamos contratando!
https://apify.com/jobsEste vídeo é uma gravação do discurso de Ondra que ele apresentou no WebExpo 2021 e foi publicado com permissão da equipe do WebExpo.
#webscraping #webexpo #Apify