Você entenderá os crawlers de busca e como orçar de forma otimizada para eles.
0:05 Otimização do crawl budget e sua importância
1:03 Fatores que afetam o crawl budget
1:29 Acessibilidade
1:49 Eficiência
1:54 Visualização de página
2:08 Taxa de rastreamento
2:42 Metas para otimização do crawl budget
3:27 Use o Google Search Console
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
Você pode achar útil:
Aprimore a interligação interna do seu site com a ferramenta Site Audit:
Entenda como os bots do Google interagem com seu site usando o Log File Analyzer:
Aprenda a usar o SEMrush Site Audit em nosso curso gratuito:
✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹ ✹
Um dos aspectos mais importantes e complexos do SEO é como controlar adequadamente os crawlers de busca e como lidar com o que chamamos de crawl budget. Por que isso é importante?
A principal razão é que o rastreamento é muito caro. Por exemplo, um dos mais recentes Data Centers que o Google construiu na Holanda custou cerca de 770 milhões de dólares americanos.
Os custos operacionais também são altos – mais de 10 bilhões de dólares por ano.
Portanto, muito dinheiro é investido em rastreamento e essa é a razão pela qual o Google precisa aplicar orçamentos. Seus recursos de rastreamento devem ser usados de forma eficiente e econômica. Os recursos são fornecidos em unidades de “tempo de computação do data center” por domínio – então, essencialmente, a otimização do crawl budget visa ajudar o Google a alcançar mais com menos.
Diferentes fatores impactam o crawl budget, por exemplo:
a idade do domínio (ou seja, quanto mais velho, melhor)
o perfil de links, que reflete a autoridade e confiabilidade de um domínio. Quanto mais forte for o perfil geral, mais orçamento você pode obter.
O tamanho do domínio (em termos de quantidade de URLs)
Além da frescura do conteúdo (por exemplo, a quantidade de conteúdo novo)
Para um rastreamento de classe mundial, a acessibilidade é importante. Você deve garantir que todos os links sejam realmente legíveis e acessíveis, e que esteja usando os códigos de status HTTP corretos. Conteúdos importantes devem ser priorizados em relação a materiais menos importantes para que sejam rastreados primeiro. Por fim, deve-se prestar atenção à eficiência. Isso significa que não deve haver páginas duplicadas ou finas. A velocidade da página é outro fator importante a ser considerado. De modo geral, quanto mais URLs você puder servir rapidamente, mais eficaz você será na alocação do tempo de computação do data center do Google.
Vamos também dar uma olhada rápida no que a taxa de rastreamento realmente significa. Uma definição adequada seria: O número de solicitações de rastreamento (acessos) por um crawler de mecanismo de busca (Google) em um determinado período (24 horas) em um domínio ou dentro de um diretório.
Em seguida, vamos definir algumas metas potenciais para a otimização do crawl budget:
Queremos que o domínio seja rastreado o mais completamente possível – então queremos que o Google encontre todo o nosso conteúdo.
Mudanças devem ser detectadas rapidamente. Precisamos ter certeza de que o conteúdo que produzimos será encontrado o mais rápido possível. E se você atualizar esse conteúdo, deseja que o Google identifique isso o mais rápido possível também. Digamos que você atualizou um preço de um produto em sua loja – isso deve ser refletido nos SERPs do Google o mais rápido possível.
Outro ponto é que os recursos devem funcionar de forma econômica e eficiente, ou seja, você quer ter certeza de que o Google lida com sua infraestrutura de servidor da melhor maneira possível.
Por fim, trata-se de usar sua infraestrutura de servidor de forma econômica; se o Google rastrear uma infinidade de coisas irrelevantes em seu domínio, isso essencialmente custa dinheiro.
Um bom ponto de partida é usar o Google Search Console. Vá para a aba de estatísticas de rastreamento - isso fornece informações sobre quantas páginas estão sendo rastreadas por dia – você pode usar essas informações como uma linha de base e acompanhar a tendência.
Tenha em mente: Dependendo do tamanho do domínio, o impacto pode diferir. Se o domínio for relativamente pequeno, digamos que tenha 100 ou 1.000 URLs, o impacto disso é claramente menos significativo do que no caso de um domínio com 100.000 URLs ou mais. O Google confirma isso em seu blog do Webmaster Central: “Desperdiçar recursos do servidor em páginas [...] drenará a atividade de rastreamento de páginas que realmente têm valor, o que pode causar um atraso significativo na descoberta de ótimo conteúdo em um site”.
Por fim, certifique-se de saber que tipo de conteúdo existe em seu domínio e decida se deseja que ele seja indexado e/ou rastreado. Se não, existem vários tipos de diretrizes e regras que você pode aplicar para garantir que eles não rastreiem ou indexem o conteúdo. Continue com este capítulo.
#TechnicalSEO #TechnicalSEOcourse #CrawlBudgetOptimization #SEMrushAcademy