Aufgenommen während der Algolia Search Party - Crawling-Ausgabe - Juni 2019, Paris
Entwicklung einer verteilten Crawler-Architektur - Nenad Tičarić, TNT Studio
Auf den ersten Blick mag die Entwicklung eines Crawlers wie eine einfache Durchquerung des Webgraphen erscheinen, in der Praxis wird es jedoch durch die vielen Anforderungen des Systems kompliziert. Er muss verteilt, skalierbar, höflich, robust und erweiterbar, aber dennoch leistungsfähig sein. Dieser Vortrag behandelt eine PHP-basierte Lösung für einige dieser Probleme.