Generador de robots.txt
Crea un archivo robots.txt con reglas Allow y Disallow para cualquier rastreador, añade tu sitemap y bloquea los bots de entrenamiento o de búsqueda con IA mediante ajustes predefinidos. Después prueba cualquier URL para ver si un bot puede rastrearla.
Última actualización:
1. Todos los rastreadores User-agent: *
2. Rastreadores concretos
3. Rastreadores de IA
4. Sitemaps
Probar una URL
Cómo usar Generador de robots.txt
- Elige la opción predeterminada para todos los rastreadores: permitir todo, bloquear todo o añadir tus propias reglas Allow y Disallow.
- Añade grupos para bots concretos si un rastreador, como Googlebot-Image, necesita reglas distintas.
- Elige qué rastreadores de IA bloquear. Usa Bloquear todos los bots de IA, Bloquear solo entrenamiento de IA o marca bots individuales.
- Añade la URL de tu sitemap para que los buscadores encuentren todas tus páginas.
- Prueba una URL con cualquier bot y después copia o descarga el robots.txt y súbelo a la raíz de tu sitio.
Referencia de sintaxis de robots.txt
| Directiva | Ejemplo | Significado |
|---|---|---|
User-agent | User-agent: GPTBot | Inicia un grupo de reglas para el rastreador indicado; * significa cualquier rastreador sin grupo propio |
Disallow | Disallow: /admin/ | No rastrear las URL cuya ruta empieza por /admin/ |
Allow | Allow: /admin/help/ | Excepción dentro de una carpeta bloqueada |
Comodín * | Disallow: /*?sort= | Cualquier carácter: bloquea todas las URL que contienen ?sort= |
Ancla de final $ | Disallow: /*.pdf$ | Solo las URL que terminan en .pdf |
Sitemap | Sitemap: https://example.com/sitemap.xml | Ubicación de un sitemap; debe ser una URL completa y puede aparecer en cualquier parte |
Crawl-delay | Crawl-delay: 5 | Segundos entre solicitudes (Bing, Yandex); Google lo ignora |
¿Qué regla gana?
Según el Protocolo de Exclusión de Robots (RFC 9309), que siguen Google y Bing, un rastreador elige primero el grupo más específico que lo nombra. Googlebot-Image usa un grupo Googlebot-Image si existe; si no, un grupo Googlebot, y si no, *. No combina su propio grupo con el grupo *. Dentro del grupo elegido gana la regla con la ruta coincidente más larga, y si una regla Allow y una Disallow tienen la misma longitud, gana Allow.
Ejemplo resuelto con estas reglas para User-agent: *:
| Ruta de la URL | Reglas coincidentes | Resultado |
|---|---|---|
/shop/ | ninguno | Permitida |
/admin/users | Disallow: /admin/ (7 caracteres) | Bloqueada |
/admin/help/faq | Disallow: /admin/ (7) y Allow: /admin/help/ (12) | Permitida (regla más larga) |
/files/report.pdf | Disallow: /*.pdf$ | Bloqueada |
/files/report.pdf?v=2 | ninguna (la URL no termina en .pdf) | Permitida |
Pega las mismas reglas en el probador de arriba para comprobar cualquier URL con tu propio archivo.
Bloquear rastreadores de IA: lo que debes saber
- Entrenamiento frente a búsqueda. Bots como GPTBot, ClaudeBot, CCBot y Google-Extended recopilan contenido para entrenar modelos. Bots como OAI-SearchBot, Claude-SearchBot y PerplexityBot alimentan respuestas de búsqueda con IA que pueden enlazar a tu sitio. Bloquea solo el primer tipo si quieres seguir siendo visible en la búsqueda con IA.
- Los fetchers solicitados por usuarios (ChatGPT-User, Claude-User, Perplexity-User) visitan una página porque una persona lo pidió. Cada empresa los trata de forma distinta, y algunas indican que puede que no les apliquen el robots.txt.
- Google-Extended y Applebot-Extended son tokens, no rastreadores independientes. Bloquearlos no afecta a los resultados de Google Search ni de la búsqueda de Apple.
- El robots.txt es voluntario. Los rastreadores serios lo respetan, pero no es un control de acceso. Usa reglas del servidor o autenticación para el contenido que deba seguir siendo privado.
- Google lee como máximo 500 KiB de un archivo robots.txt, y las reglas nuevas suelen aplicarse en un día, cuando se actualiza la copia en caché.
Preguntas frecuentes
¿Dónde pongo el robots.txt?
En la carpeta raíz de tu sitio, para que cargue en https://www.example.com/robots.txt. Los rastreadores solo lo buscan ahí. Cada subdominio y cada protocolo (http y https) necesita su propio archivo.
¿El robots.txt impide que las empresas de IA usen mi contenido?
Funciona con los rastreadores que lo respetan. OpenAI (GPTBot), Anthropic (ClaudeBot), Google (Google-Extended), Apple (Applebot-Extended), Common Crawl (CCBot) y otros afirman públicamente que siguen el robots.txt. Es una petición, no un candado: no elimina el contenido ya recopilado y no puede detener a los rastreadores que lo ignoran.
¿Bloquear los bots de IA perjudica mi posicionamiento en Google?
No. Google-Extended y Applebot-Extended solo controlan el entrenamiento y la fundamentación de IA; Googlebot y Applebot siguen rastreando para la búsqueda. Bloquear bots de búsqueda con IA como OAI-SearchBot o PerplexityBot puede quitar tus páginas de esos productos de búsqueda con IA, así que bloquea solo los bots de entrenamiento si quieres seguir apareciendo en ellos.
¿Puede el robots.txt ocultar una página a Google?
No de forma fiable. Disallow impide el rastreo, pero una URL bloqueada aún puede indexarse si otros sitios enlazan a ella, normalmente sin descripción. Para mantener una página fuera de los resultados de búsqueda, permite el rastreo y usa en su lugar una metaetiqueta noindex o un encabezado X-Robots-Tag.
¿Qué significan * y $ en el robots.txt?
Un asterisco coincide con cualquier secuencia de caracteres y el signo de dólar marca el final de la URL. Por ejemplo, Disallow: /*.pdf$ bloquea todas las URL que terminan en .pdf, y Disallow: /*? bloquea todas las URL que contienen una cadena de consulta.
¿Admite Google Crawl-delay?
No. Googlebot ignora Crawl-delay; Google ajusta su frecuencia de rastreo automáticamente. Bing y Yandex lo interpretan como el número de segundos que deben esperar entre solicitudes.
¿Se prueban todas las herramientas de FreeToolCabin para comprobar su calidad y precisión?
Sí. Cada herramienta del sitio pasa pruebas automáticas en navegadores reales para comprobar que el resultado es correcto y que no hay errores. Si encuentras un fallo o tienes una sugerencia, escríbenos a [email protected] y lo revisaremos.