Le web scraping a évolué et une simple requête HTTP avec un parseur HTML ne vous mènera plus très loin. Laissez Ondra, Responsable de l'ingénierie de livraison chez Apify, vous emmener dans un voyage à travers les dernières technologies que son équipe utilise chaque jour pour le web scraping. Les navigateurs sans tête, les empreintes digitales, les en-têtes générés, les proxies résidentiels, la surveillance du trafic des applications mobiles et d'autres outils peuvent faire la différence entre le scraping de 10 pages et de 10 millions de pages. Et ne vous inquiétez pas, c'est parfaitement légal - vous pouvez vérifier par vous-même dans l'article récent d'Ondra sur la légalité du web scraping :
https://blog.apify.com/is-web-scraping-legal/Un peu plus sur Ondra :
Ondra peut être un hacker de l'ère des navigateurs, mais cela ne signifie pas qu'il pirate des systèmes, vole des données personnelles ou échange des secrets. Au contraire, il se spécialise dans l'extraction de téraoctets de données disponibles publiquement et les traduit dans un langage que les machines peuvent comprendre. Chez Apify, Ondra dirige une équipe de hackers qui aide à développer leurs projets open source, brise les murs anti-scraping et s'essaie à l'IA. Si vous souhaitez rejoindre son équipe, nous recrutons !
https://apify.com/jobsCette vidéo est un enregistrement du discours d'Ondra qu'il a prononcé lors de WebExpo 2021 et elle est publiée avec la permission de l'équipe WebExpo.
#webscraping #webexpo #Apify