Googlebot, Yahoo! Slurp und Bingbot sind höfliche Bots, was bedeutet, dass sie zuerst die Crawling-Richtlinien in den robots.txt-Dateien befolgen, bevor sie Ressourcen von Ihrer Website anfordern. Höfliche Bots identifizieren sich gegenüber dem Webserver, sodass Sie sie nach Belieben steuern können. Die von Bots getätigten Anfragen werden in Ihren Protokolldateien gespeichert und stehen zur Analyse zur Verfügung.
Webmaster-Tools, wie sie von Google und Bing bereitgestellt werden, decken nur einen kleinen Teil dessen auf, was Bots auf Ihrer Website tun – z. B. wie viele Seiten sie crawlen oder Daten zur Bandbreitennutzung. Das ist in gewisser Weise nützlich, reicht aber nicht aus.