J'ai parlé des différents processus de conception d'un web crawler. J'ai donné des détails sur l'utilisation de l'espace. J'ai abordé des exigences non fonctionnelles telles que l'évolutivité horizontale et quelques structures de données comme la table de hachage et le filtre de Bloom.