Dos líneas en robots.txt eliminaron silenciosamente toda una tienda en línea de los resultados de búsqueda, y ningún sistema de monitoreo lo detectó, porque técnicamente nada estaba roto.
Lo que se cubre:
— Lo que realmente hace robots.txt (y por qué no es una herramienta de seguridad)
— La mayor misconception: Disallow ≠ eliminar páginas de la búsqueda
— Cómo Disallow y noindex entran en conflicto entre sí
— Desglose de sintaxis: comodines, reglas Allow y cómo se resuelven los conflictos
— Directivas específicas de Yandex (Clean-param, Crawl-delay)
— Los errores más comunes de robots.txt durante las migraciones
— Cómo los crawlers de IA (GPTBot, ClaudeBot, CCBot) utilizan robots.txt
— El nuevo formato llms.txt y lo que significa para los agentes de IA
— Cómo verificar tu propio robots.txt en Search Console y Yandex Webmaster
Si alguna vez has migrado un sitio o te has preguntado por qué el tráfico cayó repentinamente, este es el archivo que debes revisar primero.
#robotstxt #SEO #SEOtécnico #OptimizaciónDeMotoresDeBúsqueda #DesarrolloWeb #MigraciónDeSitios #GoogleSearchConsole #Noindex #CrawlBudget #CrawlersIA
Creado con un avatar de IA. Los visuales son ilustrativos. El contenido es solo para fines informativos.