Número máximo de páginas que los rastreadores de Google (Googlebot) están dispuestos y tienen capacidad de rastrear en un sitio web durante un período determinado.
Explicación y Contexto Conceptual
Depende de la velocidad de respuesta del servidor (host load limit) y de la popularidad/frecuencia de actualización del sitio (crawl demand). En portales gigantescos o e-commerce con cientos de miles de URLs, un mal presupuesto de rastreo provocado por páginas lentas, bucles de redirección o contenido duplicado hace que Google tarde semanas en indexar productos y artículos nuevos.
Ejemplo en la Práctica
Al bloquear en robots.txt las URLs de filtros facetados infinitos de su catálogo, un e-commerce redujo el desperdicio de rastreo en un 60%, logrando que Googlebot indexe sus nuevos productos en menos de 2 horas.