O que é um arquivo robots.txt e como ele impacta a indexabilidade do site? Junte-se a Martin Splitt neste Lightning Talk de Pesquisa enquanto ele aborda como o robots.txt interage com as meta tags de robots, cabeçalhos HTTP e como usá-los para controlar o acesso dos crawlers dos motores de busca ao seu site.
Capítulos:
0:00 - Introdução
0:17 - Por que eu preciso de robots.txt?
0:40 - O que é a meta tag de robots?
2:47 - Quando usar noindex vs. disallow
3:48 - Por que o Googlebot ainda está rastreando certas páginas?
5:14 - Conclusão
#GoogleSearch #SearchLightningTalks
Palestrante: Martin Splitt
Produtos Mencionados: Search Console