Googlebot, Yahoo! Slurp y Bingbot son bots educados, lo que significa que primero obedecerán las directrices de rastreo encontradas en los archivos robots.txt, antes de solicitar recursos de tu sitio web. Los bots educados se identificarán ante el servidor web, por lo que puedes controlarlos como desees. Las solicitudes realizadas por los bots se almacenan en tus archivos de registro y están disponibles para análisis.
Las herramientas para webmasters, como las proporcionadas por Google y Bing, solo descubren una pequeña parte de lo que hacen los bots en tu sitio web, por ejemplo, cuántas páginas rastrean o datos de uso de ancho de banda. Eso es útil de alguna manera, pero no es suficiente.