Probador de robots.txt
Pega un archivo robots.txt, introduce una o más URLs y elige un rastreador. El probador aplica las reglas de coincidencia de Google (RFC 9309): elige el grupo de user-agent correcto, encuentra la regla coincidente más larga, la resalta y señala los problemas de sintaxis del archivo.
Última actualización:
Resultados
Revisión del archivo
Comparar rastreadores
Cómo usar Probador de robots.txt
- Pega tu robots.txt en el editor (abre tusitio.com/robots.txt en una pestaña nueva y cópialo) o edita el ejemplo.
- Introduce las URLs o rutas que quieres probar, una por línea. Funcionan tanto URLs completas como rutas tipo /admin/.
- Elige un rastreador, como Googlebot, o escribe un user agent personalizado.
- Haz clic en Comprobar URLs. Cada URL muestra Permitida o Bloqueada con la regla exacta y el número de línea que lo decidió, resaltados en el editor.
- Corrige y vuelve a probar: los resultados se actualizan mientras escribes, y la tabla Comparar rastreadores muestra cómo trata cada bot la primera URL.
Cómo se aplican las reglas de robots.txt
El probador sigue el Protocolo de Exclusión de Robots tal como se estandarizó en la RFC 9309 y lo implementa Google:
- Se elige un grupo. El rastreador busca grupos cuyo nombre de
User-agentcoincida con el suyo (sin distinguir mayúsculas). Si no existe ninguno, usa el grupoUser-agent: *. Varios grupos con el mismo nombre se combinan. Solo se aplica un grupo. - Se buscan reglas coincidentes. Cada ruta de
AllowyDisallowse compara con el inicio de la ruta de la URL más la cadena de consulta. La coincidencia distingue mayúsculas y minúsculas. - Gana la regla más larga. Decide la regla con la ruta más larga (en caracteres). Si una regla Allow y una Disallow tienen la misma longitud, gana Allow.
- Sin coincidencia, está permitida.
/robots.txten sí siempre está permitido.
Ejemplos de patrones
| Regla | Bloquea | No bloquea |
|---|---|---|
Disallow: /admin | /admin, /admin/, /admin.php, /administrator | /Admin, /blog/admin |
Disallow: /admin/ | /admin/, /admin/users | /admin, /administrator |
Disallow: /*.pdf$ | /guide.pdf, /files/a.pdf | /guide.pdf?v=2, /pdf-tools/ |
Disallow: /*? | /search?q=a, /page?id=1 | /search, /page |
Disallow: /*sessionid= | /cart?sessionid=9, /a?b=1&sessionid=2 | /cart |
Disallow: / | Todas las URLs | Nada (excepto /robots.txt) |
Disallow: (vacío) | Nada | Todas las URLs |
Alternativas de rastreadores que usa el probador
Algunos rastreadores obedecen otro grupo cuando no hay uno con su propio nombre. Googlebot-Image, Googlebot-News y Googlebot-Video recurren a Googlebot; Applebot sigue las reglas de Googlebot cuando no tiene grupo propio; Bingbot recurre a msnbot; YandexBot obedece los grupos de Yandex. AdsBot-Google ignora por completo el grupo * y solo sigue las reglas que lo nombran. Los rastreadores de IA como GPTBot, ClaudeBot, CCBot y Google-Extended siguen la selección de grupo normal, así que para excluirlos necesitas un grupo que los nombre, como en el archivo de ejemplo. Para crear un archivo nuevo, usa el Generador de robots.txt, y comprueba las URLs que incluye tu sitemap con el Extractor de URLs de sitemap.
Preguntas frecuentes
¿Cómo decide Google si una URL está bloqueada?
Google primero elige el único grupo cuya línea user-agent coincide de forma más específica con el rastreador, y si no hay ninguno recurre al grupo *. Dentro de ese grupo, gana la regla Allow o Disallow con la ruta coincidente más larga. Si una regla Allow y una Disallow coinciden con la misma longitud, gana Allow. Si ninguna regla coincide, la URL está permitida.
¿Cómo funcionan * y $ en robots.txt?
Un asterisco coincide con cualquier secuencia de caracteres, incluso ninguna, así que Disallow: /*.pdf bloquea todas las URLs que contienen .pdf. Un signo de dólar al final ancla la regla al final de la URL, así que Disallow: /*.pdf$ solo bloquea las URLs que terminan en .pdf, no /file.pdf?download=1.
¿Por qué Googlebot ignora mis reglas de User-agent: *?
Un rastreador obedece solo a un grupo. Si tu archivo tiene un grupo para Googlebot, Googlebot sigue solo ese grupo e ignora todo lo que hay bajo User-agent: *. Copia las reglas generales en el grupo específico si deben aplicarse a ambos.
¿Robots.txt elimina páginas de Google?
No. Disallow impide el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en los resultados si otras páginas enlazan a ella, normalmente sin descripción. Para mantener una página fuera de los resultados de búsqueda, permite el rastreo y usa una metaetiqueta noindex o un encabezado X-Robots-Tag.
¿Se admiten Crawl-delay y Noindex?
Google ignora Crawl-delay y dejó de admitir Noindex en robots.txt en 2019. Bing y Yandex respetan Crawl-delay. El probador muestra estas líneas como notas para que sepas que no afectarán a Googlebot.
¿La coincidencia de rutas distingue mayúsculas y minúsculas?
Sí. Las rutas de las reglas Allow y Disallow distinguen mayúsculas y minúsculas, así que Disallow: /Admin no bloquea /admin. Los nombres de las directivas y de los user agents no las distinguen.
¿Otros buscadores usan las mismas reglas?
Bing, Yandex y la mayoría de los grandes rastreadores también usan la precedencia de coincidencia más larga y admiten * y $, según la norma RFC 9309. Los bots más pequeños o antiguos pueden comportarse de otra forma o ignorar robots.txt por completo, ya que es un estándar voluntario.
¿Se prueban todas las herramientas de FreeToolCabin para comprobar su calidad y precisión?
Sí. Cada herramienta del sitio pasa pruebas automáticas en navegadores reales para comprobar que el resultado es correcto y que no hay errores. Si encuentras un fallo o tienes una sugerencia, escríbenos a [email protected] y lo revisaremos.