Googlebot, Yahoo! Slurp e Bingbot são bots educados, o que significa que eles primeiro obedecerão às diretrizes de rastreamento encontradas nos arquivos robots.txt, antes de solicitar recursos do seu site. Bots educados se identificam para o servidor web, permitindo que você os controle como desejar. As solicitações feitas pelos bots são armazenadas em seus arquivos de log e estão disponíveis para análise.
As ferramentas para webmasters, como as fornecidas pelo Google e Bing, revelam apenas uma pequena parte do que os bots fazem em seu site—por exemplo, quantas páginas eles rastreiam ou dados de uso de largura de banda. Isso é útil de algumas maneiras, mas não é suficiente.