Enregistré lors de l'Algolia Search Party - Édition Crawling - Juin 2019, Paris
Écriture d'une architecture de crawler distribué - Nenad Tičarić, TNT Studio
Bien qu'à première vue, écrire un crawler puisse sembler être une simple traversée du graphe web, en pratique, cela se complique par les nombreuses exigences du système. Il doit être distribué, évolutif, respectueux, robuste et extensible tout en restant performant. Cette présentation couvrira une solution basée sur PHP à certains de ces problèmes.