Web Scraping hat sich verändert und eine einfache HTTP-Anfrage mit einem HTML-Parser bringt dich nicht mehr weit. Lass Ondra, Head of Delivery Engineering @ Apify, dich auf eine Reise durch die neueste Technologie mitnehmen, die sein Team jeden Tag für Web Scraping nutzt. Headless-Browser, Fingerabdrücke, generierte Header, Wohnproxy, Überwachung des Datenverkehrs von mobilen Apps und andere Tools können den Unterschied zwischen dem Scrapen von 10 Seiten und 10 Millionen Seiten ausmachen. Und keine Sorge, es ist vollkommen legal - du kannst selbst in Ondras aktuellem Artikel über die Legalität von Web Scraping nachlesen:
https://blog.apify.com/is-web-scraping-legal/Ein bisschen mehr über Ondra:
Ondra mag ein Hacker des Browserzeitalters sein, aber das bedeutet nicht, dass er Systeme zum Absturz bringt, persönliche Daten stiehlt oder Geheimnisse handelt. Stattdessen spezialisiert er sich darauf, Terabytes öffentlich verfügbarer Daten zu extrahieren und sie in eine Sprache zu übersetzen, die Maschinen verstehen können. Bei Apify leitet Ondra ein Team von Gleichgesinnten, das dabei hilft, ihre Open-Source-Projekte auszubauen, Anti-Scraping-Schranken zu durchbrechen und sich mit KI zu beschäftigen. Wenn du seinem Team beitreten möchtest, wir stellen ein!
https://apify.com/jobsDieses Video ist eine Aufzeichnung von Ondras Vortrag, den er auf der WebExpo 2021 gehalten hat, und es wird mit Genehmigung des WebExpo-Teams veröffentlicht.
#webscraping #webexpo #Apify