SEO técnico
Testeador de robots.txt online
Analiza las reglas de robots.txt y comprueba si una URL está permitida para un user-agent concreto.
Analizador de robots.txt
Guía robots.txt
¿Qué es robots.txt?
robots.txt es un archivo que comunica a los crawlers qué rutas pueden rastrear dentro de un sitio. Se publica normalmente en la raíz del dominio.
¿Para qué sirve probar robots.txt?
Permite detectar bloqueos accidentales, comprobar cambios antes de publicarlos y entender qué reglas se aplican a cada crawler.
Allow frente a Disallow
Allow permite una ruta y Disallow la bloquea dentro del grupo de user-agent correspondiente. Cuando hay conflicto, se tiene en cuenta la coincidencia más específica.
robots.txt y SEO
robots.txt influye en el rastreo, pero no es un mecanismo de seguridad ni garantiza que una URL no aparezca en los resultados de búsqueda.
Preguntas frecuentes
Preguntas sobre robots.txt
¿Cómo saber si una URL está bloqueada por robots.txt?
Pega el archivo, indica la URL y selecciona el user-agent que quieres simular.
¿Qué significa User-agent: *?
Indica un grupo de reglas aplicable a cualquier crawler que no tenga un grupo más específico.
¿Qué diferencia hay entre Allow y Disallow?
Allow permite rastrear una ruta y Disallow solicita que no se rastree.
¿robots.txt evita que una página aparezca en Google?
No necesariamente. robots.txt controla principalmente el rastreo y no sustituye las directivas de indexación ni la protección de acceso.
¿Puedo bloquear todo el sitio?
Sí, una regla Disallow: / dentro del grupo adecuado bloquea el rastreo simulado de todas las rutas.
¿Para qué sirve Sitemap?
Indica la ubicación de un sitemap XML para ayudar a los crawlers a descubrir URLs.
¿robots.txt es un sistema de seguridad?
No. Es una directiva pública y cualquier persona puede leerla; no protege contenido ni impide solicitudes directas.