Definición Concisa
Archivo de texto plano ubicado en la raíz del servidor web que instruye a los bots de búsqueda sobre qué carpetas o páginas tienen permiso de rastrear o no.
Explicación y Contexto Conceptual
Es la primera puerta de entrada que consulta cualquier rastreador antes de descargar un sitio web. Se utiliza para optimizar el presupuesto de rastreo impidiendo el acceso a paneles de administración privados, resultados de búsqueda interna, carritos de compra o archivos temporales. Además, suele indicar la ubicación exacta del Sitemap XML.
Cálculo / Regla
Directiva estándar: User-agent: * Disallow: /admin/ Allow: / Sitemap: https://ejemplo.com/sitemap.xml
Ejemplo en la Práctica
Un e-commerce añade 'Disallow: /checkout/' en su robots.txt para evitar que los robots indexen pasarelas de pago o generen sesiones duplicadas.
Formato de Cita
"Robots.txt": Archivo de texto plano ubicado en la raíz del servidor web que instruye a los bots de búsqueda sobre qué carpetas o páginas tienen permiso de rastrear o no. Fuente: Glosario del Marketing y la Publicidad, Blue Design Worldwide (https://bluecolombia.co/glosario-marketing/termino/robots-txt)