¿Qué es el crawl budget y es importante?

El crawl budget es el número de URL de un sitio web que Google puede y quiere rastrear en un periodo determinado. Lo determinan dos factores: el límite de capacidad de rastreo (cuánto rastreo puede soportar tu servidor) y la demanda de rastreo (cuánto quiere rastrear Google tu contenido). Importa sobre todo en sitios grandes o que cambian con frecuencia, donde hay riesgo de que algunas páginas no se descubran o no se indexen.

El crawl budget determina si Google llega siquiera a ver tu contenido antes de poder posicionarlo. En la mayoría de los sitios de marketing pequeños no es un problema, pero en las empresas SaaS con muchas páginas de producto, funcionalidades y documentación, un crawl budget desperdiciado significa que páginas reales quedan invisibles en los resultados de búsqueda.

¿Qué determina tu crawl budget?

Google define el crawl budget a partir de dos elementos combinados. La cantidad de tiempo y recursos que Google dedica a rastrear un sitio se conoce habitualmente como el crawl budget del sitio, y lo determinan dos elementos principales: el límite de capacidad de rastreo y la demanda de rastreo.

El límite de capacidad de rastreo es el techo técnico. Google quiere rastrear tu sitio sin saturar tus servidores, así que sus rastreadores calculan un límite de capacidad de rastreo, que es el número máximo de conexiones paralelas simultáneas que Google puede usar para rastrear un sitio, además del retraso entre cada solicitud. Un servidor lento o propenso a errores reduce directamente esa cifra.

La demanda de rastreo es la parte del apetito de Google. Entre los factores que influyen de forma significativa en la demanda de rastreo está el inventario percibido: sin indicaciones tuyas, Google intenta rastrear todas o la mayoría de las URL de tu sitio que conoce, y si muchas de ellas están duplicadas o no son importantes, se desperdicia gran parte del tiempo de rastreo que Google dedica a tu sitio. La popularidad, la actualidad y la calidad del contenido también influyen en este cálculo.

El crawl budget no es una cifra fija que se asigna una sola vez. Cambia a medida que cambia tu sitio, y Google lo calcula por nombre de host, no por dominio. Por ejemplo, un sitio de marketing principal y un subdominio de documentación cuentan como dos hosts distintos, cada uno con su propio crawl budget. Esta diferencia importa a las empresas SaaS que tienen el subdominio de documentación separado del sitio de marketing.

¿Por qué importa el crawl budget a las empresas SaaS?

No todos los sitios web necesitan preocuparse por el crawl budget. Si las páginas nuevas suelen rastrearse el mismo día en que se publican, los webmasters no tienen que centrarse en ello, y si un sitio tiene menos de unos pocos miles de URL, lo normal es que se rastree de forma eficiente. Las propias directrices de Google acotan aún más la preocupación a perfiles de sitio concretos.

Las plataformas SaaS suelen encajar en la categoría que sí debe prestar atención. Las páginas de producto, los listados de integraciones, las páginas de casos de uso y los niveles de precios se multiplican rápido, y cada uno es una URL distinta que compite por la misma cuota de rastreo, que es limitada. Cuando ese inventario crece más allá de cierto punto sin una estructura acorde, las páginas empiezan a quedarse en cola en lugar de rastrearse con rapidez.

La consecuencia práctica de superar el crawl budget aparece en un informe concreto. Google no mostrará páginas en los resultados de búsqueda, aunque las haya rastreado, si el contenido carece de valor suficiente o de demanda de los usuarios. Las páginas sin rastrear no pueden evaluarse para su indexación, lo que significa que no pueden competir por posiciones, por muy sólido que sea su contenido.

Es un concepto distinto del posicionamiento en sí. Una mayor frecuencia de rastreo no conlleva necesariamente mejores posiciones en los resultados de búsqueda, ya que Google usa cientos de señales para ordenar los resultados, y aunque el rastreo es necesario para aparecer en ellos, no es una señal de posicionamiento. El crawl budget controla el descubrimiento y la velocidad de indexación, no el lugar que ocupa una página una vez indexada. Para un negocio SaaS en crecimiento, ese paso de descubrimiento es la puerta por la que debe pasar primero cualquier otro esfuerzo de SEO. El enfoque de Seedling para el crecimiento orgánico de los equipos SaaS trata esta puerta como una revisión de salud básica, porque la estrategia de contenidos y la segmentación por palabras clave no dan ningún retorno si las páginas creadas para posicionarse nunca llegan a rastrearse.

¿Qué desperdicia crawl budget?

Google deja claro que ciertos patrones de URL agotan en silencio la capacidad de rastreo sin aportar valor de búsqueda. Entre las fuentes más comunes están:

• Navegación por facetas y parámetros de sesión. La navegación por facetas suele generar contenido duplicado del propio sitio; los identificadores de sesión y otros parámetros de URL que solo ordenan o filtran la página no aportan contenido nuevo.
• Contenido duplicado. Consolidar el contenido duplicado significa eliminarlo para centrar el rastreo en contenido único y no en URL únicas.
• Páginas soft 404. Devuelve un código 404 cuando una página ya no existe, en lugar de dejarla como soft 404.
• Etiquetas noindex usadas como atajo. No uses noindex como atajo: Google seguirá solicitando la página y luego la descartará al ver una metaetiqueta noindex o una cabecera en la respuesta HTTP, con lo que se desperdicia tiempo de rastreo.
• Robots.txt usado con un fin equivocado. No uses robots.txt para reasignar temporalmente crawl budget a otras páginas; úsalo para bloquear las páginas que no quieres que Google rastree en absoluto. Google no trasladará a otras páginas el crawl budget que quede libre, salvo que ya esté alcanzando el límite de servicio de tu sitio.

En los sitios SaaS en concreto, el renderizado con mucho JavaScript es un culpable frecuente. Las tablas de precios, las listas de funcionalidades o las descripciones de producto renderizadas en el cliente suelen obligar a Googlebot a gastar recursos adicionales en renderizar el contenido antes de poder evaluar la página, lo que ralentiza el rastreo del resto del sitio.

¿Cómo se comprueba y se optimiza el crawl budget?

Google Search Console es la principal herramienta de diagnóstico. El informe de estadísticas de rastreo, que se encuentra en Configuración, ofrece una vista de 90 días de la actividad de rastreo, y combinarlo con el análisis de archivos de registro revela exactamente en qué URL dedica tiempo Googlebot y cuáles importan realmente al negocio.

La señal de alerta más clara es un estado concreto de Search Console. Google señala que los problemas de crawl budget son más relevantes para los sitios web con un gran número de páginas que se actualizan con regularidad, los sitios con un número medio o grande de páginas que se actualizan con mucha frecuencia y los sitios con un porcentaje alto de páginas en estado Descubierta: actualmente sin indexar, lo que indica un rastreo ineficiente. Un aumento en ese estado, junto con páginas que sabes que son valiosas, es la señal más clara de que el crawl budget limita realmente tu visibilidad y no otra causa.

Una vez diagnosticado el problema, Google reduce la solución a dos palancas. Las únicas formas de aumentar tu crawl budget son aumentar tu capacidad de servicio para el rastreo y, sobre todo, aumentar el valor del contenido de tu sitio para quienes buscan, ya que Google determina los recursos de rastreo según la popularidad, el valor para el usuario, la unicidad y la capacidad de servicio. En la práctica, esto significa mejorar los tiempos de respuesta del servidor, consolidar las URL duplicadas con etiquetas canonical, limpiar los sitemaps XML para que solo contengan páginas indexables y reforzar el enlazado interno para que las páginas prioritarias sean fáciles de alcanzar.

Un error común: ¿más rastreo significa mejores posiciones?

Muchos equipos dan por hecho que empujar a Google a rastrear con más intensidad mejorará automáticamente el rendimiento en búsqueda. Esa suposición entiende el mecanismo al revés. El rastreo es un requisito para la indexación, y la indexación es un requisito para el posicionamiento, pero cada paso se rige por criterios distintos. Una página puede rastrearse con frecuencia y no posicionarse nunca si el propio contenido no alcanza los umbrales de calidad y relevancia.

Un modelo mental más útil considera el crawl budget un guardián y no una palanca de posicionamiento. Corregir el rastreo desperdiciado no garantiza mejores posiciones en los resultados de búsqueda. Garantiza que tus páginas realmente sólidas tengan una oportunidad justa de ser evaluadas. Para las empresas SaaS que escalan rápidamente sus páginas de producto y funcionalidades, esta distinción debería marcar cómo priorizas la inversión en SEO técnico: primero asegúrate de que Google pueda ver todo lo que merece ser visto y después concentra el trabajo de contenidos y autoridad en las páginas más importantes, una vez que estén indexadas de forma fiable.