Neste guia prático, mergulhamos no tema robots.txt – uma poderosa ferramenta para webmasters. Vamos entender o que é esse arquivo, como ele funciona, quais oportunidades a configuração correta oferece e quais são suas diretrizes-chave. Vamos detalhar cada passo do trabalho com robots.txt, discutir como suas configurações afetarão a indexação do site pelos motores de busca Google e Yandex e como excluir partes do site da busca usando disallow/allow
Códigos de tempo:
00:00 Introdução
00:36 robots.txt – definição e finalidade
1:40 Processo de configuração – guia passo a passo
2:52 Diagnóstico – em quais casos é necessária a edição do robots.txt
4:24 Insights – dicas e truques para usar robots.txt
6:18 Guia de diretrizes User-agent – configuração para diferentes motores de busca
8:33 Configuração de indexação – parâmetros para Yandex e Google
9:29 Como bloquear o blog da indexação – uso de disallow/allow
14:20 Uso de Clean-param – o que é e como aplicar
17:24 Diretrizes obrigatórias – Sitemap, Host, Crawl-delay e seu significado