O que é orçamento de rastreamento e ele importa?

Crawl budget é o número de URLs de um site que o Google pode e quer rastrear em um determinado período. Dois fatores o determinam: o limite de capacidade de rastreamento (quanto rastreamento o seu servidor aguenta) e a demanda de rastreamento (o quanto o Google quer rastrear o seu conteúdo). Ele importa mais para sites grandes ou que mudam com frequência, onde as páginas correm o risco de não serem descobertas ou indexadas.

O crawl budget determina se o Google chega a ver o seu conteúdo antes de poder ranqueá-lo. Para a maioria dos sites de marketing pequenos, isso não é um problema, mas para empresas de SaaS com muitas páginas de produto, funcionalidades e documentação, desperdiçar crawl budget significa páginas reais invisíveis nos resultados de busca.

O que determina o seu crawl budget?

O Google define o crawl budget por meio de dois elementos combinados. O tempo e os recursos que o Google dedica ao rastreamento de um site costumam ser chamados de crawl budget do site, e dois elementos principais o determinam: o limite de capacidade de rastreamento e a demanda de rastreamento.

O limite de capacidade de rastreamento é o teto técnico. O Google quer rastrear o seu site sem sobrecarregar os seus servidores, então os rastreadores do Google calculam um limite de capacidade de rastreamento, que é o número máximo de conexões paralelas simultâneas que o Google pode usar para rastrear um site, além do intervalo de tempo entre as requisições. Um servidor lento ou propenso a erros reduz esse número diretamente.

A demanda de rastreamento é o lado do apetite da equação. Entre os fatores que têm papel importante na demanda de rastreamento está o inventário percebido: sem orientação sua, o Google tenta rastrear todas ou a maioria das URLs que conhece no seu site, e se muitas delas forem duplicadas ou sem importância, isso desperdiça muito do tempo de rastreamento do Google no seu site. Popularidade, atualidade e qualidade do conteúdo também entram nesse cálculo.

O crawl budget não é um número fixo concedido uma única vez. Ele muda conforme o seu site muda, e o Google o calcula por hostname, não por domínio. Por exemplo, um site de marketing principal e um subdomínio de documentação contam como dois hostnames diferentes, cada um com o seu próprio crawl budget separado. Essa distinção importa para empresas de SaaS que mantêm um subdomínio de docs separado do site de marketing.

Por que o crawl budget importa para empresas de SaaS?

Nem todo site precisa pensar em crawl budget. Se as novas páginas costumam ser rastreadas no mesmo dia em que são publicadas, os webmasters não precisam se preocupar com isso, e se um site tem menos de alguns milhares de URLs, na maioria das vezes ele será rastreado de forma eficiente. A própria orientação do Google restringe ainda mais a preocupação a perfis específicos de site.

Plataformas SaaS muitas vezes se enquadram na categoria que precisa prestar atenção. Páginas de produto, listagens de integrações, páginas de casos de uso e planos de preços se multiplicam rápido, e cada uma é uma URL separada disputando a mesma cota finita de rastreamento. Quando esse inventário cresce além de certo ponto sem uma estrutura correspondente, as páginas passam a ficar numa fila em vez de serem rastreadas com rapidez.

A consequência prática de exceder o crawl budget aparece em um relatório específico. O Google não mostra páginas nos resultados de busca, mesmo rastreadas, se o conteúdo não tiver valor suficiente ou demanda dos usuários. Páginas não rastreadas nem chegam a ser avaliadas para indexação, o que significa que não podem competir por posições, por melhor que seja o conteúdo da página.

Isso é um conceito distinto do próprio ranqueamento. Uma taxa de rastreamento maior não leva necessariamente a melhores posições nos resultados de busca, já que o Google usa centenas de sinais para ranquear resultados e, embora o rastreamento seja necessário para aparecer nos resultados, ele não é um sinal de ranqueamento. O crawl budget controla a descoberta e a velocidade de indexação, não a posição de uma página depois de indexada. Para um negócio SaaS em crescimento, essa etapa de descoberta é o portão pelo qual todo outro esforço de SEO precisa passar primeiro. A abordagem da Seedling para crescimento orgânico para equipes de SaaS trata esse portão como uma verificação básica de saúde, porque estratégia de conteúdo e segmentação de palavras-chave não trazem retorno se as páginas feitas para ranquear nunca chegam a ser rastreadas.

O que desperdiça crawl budget?

O Google é explícito ao dizer que certos padrões de URL drenam silenciosamente a capacidade de rastreamento sem agregar valor de busca. Fontes comuns incluem:

• Navegação facetada e parâmetros de sessão. A navegação facetada costuma ser conteúdo duplicado do site; identificadores de sessão e outros parâmetros de URL que apenas ordenam ou filtram a página não trazem conteúdo novo.
• Conteúdo duplicado. Consolidar conteúdo duplicado significa eliminá-lo para concentrar o rastreamento em conteúdo único, e não em URLs únicas.
• Páginas soft 404. Retorne um código 404 quando uma página não existir mais, em vez de deixá-la como soft 404.
• Tags noindex usadas como atalho. Não conte com o noindex como atalho: o Google ainda vai solicitar a página e depois descartá-la ao ver uma meta tag noindex ou um cabeçalho na resposta HTTP, desperdiçando tempo de rastreamento.
• Robots.txt usado para o fim errado. Não use o robots.txt para realocar temporariamente o crawl budget para outras páginas; use-o para bloquear páginas que você não quer que o Google rastreie. O Google não vai transferir para outras páginas o crawl budget recém-liberado, a menos que já esteja atingindo o limite de atendimento do seu site.

Em sites de SaaS especificamente, a renderização pesada em JavaScript é um problema frequente. Tabelas de preços, listas de funcionalidades ou descrições de produto renderizadas no lado do cliente muitas vezes obrigam o Googlebot a gastar recursos extras renderizando o conteúdo antes mesmo de avaliar a página, o que atrasa o rastreamento de todo o resto do site.

Como verificar e otimizar o seu crawl budget?

O Google Search Console é a principal ferramenta de diagnóstico. O relatório Estatísticas de rastreamento, encontrado em Configurações, oferece uma visão de 90 dias da atividade de rastreamento, e combiná-lo com a análise de arquivos de log revela exatamente em quais URLs o Googlebot está gastando tempo e quais realmente importam para o negócio.

O sinal de alerta mais claro a observar é um status específico do Search Console. O Google observa que problemas de crawl budget são mais relevantes para sites com um grande número de páginas atualizadas regularmente, sites com um número médio a grande de páginas atualizadas com muita frequência e sites com uma alta porcentagem de páginas listadas como "Descobertas: atualmente não indexadas", o que indica rastreamento ineficiente. Uma contagem crescente nesse status, junto com páginas que você sabe que são valiosas, é o sinal mais forte de que o crawl budget está de fato limitando a sua visibilidade, e não outra coisa.

Depois de diagnosticar o problema, o Google reduz a solução a duas alavancas. As únicas formas de aumentar o seu crawl budget são aumentar a sua capacidade de atendimento para rastreamentos e, mais importante, aumentar o valor do conteúdo do seu site para quem pesquisa, já que o Google define os recursos de rastreamento com base em popularidade, valor para o usuário, unicidade e capacidade de atendimento. Na prática, isso significa corrigir os tempos de resposta do servidor, consolidar URLs duplicadas com tags canonical, limpar os sitemaps XML para que contenham apenas páginas indexáveis e fortalecer os links internos para que as páginas prioritárias sejam fáceis de alcançar.

Um equívoco comum: mais rastreamento significa melhores posições?

Muitas equipes presumem que levar o Google a rastrear de forma mais agressiva vai melhorar automaticamente o desempenho de busca. Essa suposição entende o mecanismo ao contrário. O rastreamento é pré-requisito para a indexação, e a indexação é pré-requisito para o ranqueamento, mas critérios distintos regem cada etapa. Uma página pode ser rastreada com frequência e mesmo assim nunca ranquear se o próprio conteúdo não atender aos limites de qualidade e relevância.

O modelo mental mais útil trata o crawl budget como um porteiro, e não como uma alavanca de ranqueamento. Corrigir o desperdício de rastreamento não garante melhores posições nos resultados de busca. Garante que as suas páginas realmente fortes tenham uma chance justa de ser avaliadas. Para empresas de SaaS que escalam rápido páginas de produto e funcionalidades, essa distinção deve orientar como você prioriza o investimento em SEO técnico: invista primeiro em garantir que o Google consiga ver tudo o que vale ser visto e, depois, concentre o trabalho de conteúdo e de construção de autoridade nas páginas mais importantes, quando elas estiverem de forma confiável no índice.