#seo #robotstxt #aem
Configurar el archivo robots.txt en AEM
Robots.txt es un archivo de texto que los webmasters crean para instruir a los robots web sobre cómo rastrear las páginas de su sitio web. El archivo robots.txt es parte del protocolo de exclusión de robots (REP), un grupo de estándares web que regulan cómo los robots rastrean la web, acceden e indexan contenido, y sirven ese contenido a los usuarios.
En la práctica, los archivos robots.txt indican si ciertos agentes de usuario (software de rastreo web) pueden o no rastrear partes de un sitio web. Estas instrucciones de rastreo se especifican