En esta guía práctica, nos adentramos en el tema del archivo robots.txt, una herramienta poderosa para webmasters. Aprenderemos qué es este archivo, cómo funciona, qué posibilidades ofrece su correcta configuración y de qué constan sus directivas clave. Analizaremos detalladamente cada paso en el manejo del robots.txt, discutiremos cómo tus configuraciones afectarán la indexación del sitio por los motores de búsqueda Google y Yandex, y cómo excluir partes del sitio de la búsqueda utilizando disallow/allow.
Códigos de tiempo:
00:00 Introducción
00:36 robots.txt – definición y propósito
1:40 Proceso de configuración – guía paso a paso
2:52 Diagnóstico – en qué casos se necesita modificar robots.txt
4:24 Insights – trucos y consejos para usar robots.txt
6:18 Guía sobre las directivas User-agent – configuración para diferentes motores de búsqueda
8:33 Configuración de indexación – parámetros para Yandex y Google
9:29 Cómo cerrar el blog de la indexación – uso de disallow/allow
14:20 Uso de Clean-param – qué es y cómo aplicarlo
17:24 Directivas obligatorias – Sitemap, Host, Crawl-delay y su significado