Googlebot, Yahoo! Slurp et Bingbot sont des bots respectueux, ce qui signifie qu'ils obéiront d'abord aux directives de crawl trouvées dans les fichiers robots.txt, avant de demander des ressources sur votre site web. Les bots respectueux s'identifient au serveur web, vous permettant de les contrôler comme vous le souhaitez. Les requêtes effectuées par les bots sont stockées dans vos fichiers journaux et sont disponibles pour analyse.
Les outils pour webmasters, tels que ceux fournis par Google et Bing, ne révèlent qu'une petite partie de ce que font les bots sur votre site web, par exemple, combien de pages ils crawlent ou les données d'utilisation de la bande passante. Cela est utile à certains égards, mais ce n'est pas suffisant.