Robots.txt es un simple archivo de texto que forma parte del directorio de un sitio web. Indica a los rastreadores de los motores de búsqueda qué páginas o secciones del sitio no deben ser escaneadas e indexadas.
En el contexto de la SEO:
- Propósito: Ayuda a gestionar y guiar a los rastreadores de los motores de búsqueda hacia el contenido que desea indexar, mejorando la eficacia SEO del sitio.
- Controlar: Le permite impedir que se indexen determinadas partes de su sitio, como el contenido duplicado o las áreas privadas.
- Formato: Consiste en las instrucciones "User-agent" (el rastreador web de destino) y "Disallow" (la URL que no desea que se rastree).
Recuerde que, aunque robots.txt puede solicitar a los rastreadores que no indexen determinados contenidos, no es un método totalmente seguro para ocultar páginas web a los motores de búsqueda o a los usuarios.