Generador de robots.txt

Cómo usar Generador de robots.txt

1. Elige qué rutas quieres permitir o bloquear.
2. Añade la dirección de tu sitemap.
3. Descarga el archivo y súbelo a la raíz de tu dominio.

Cómo funciona robots.txt

Es un archivo de texto en la raíz del dominio y sigue unas reglas simples pero con trampas.

Se compone de bloques. Cada bloque empieza por User-agent, que indica a qué rastreador se aplica, seguido de las reglas Allow y Disallow.

El asterisco en User-agent significa "todos los rastreadores que no tengan un bloque propio". Y esto es lo importante: un rastreador que tiene su propio bloque ignora por completo el bloque del asterisco, no los suma.

Ese es el error más frecuente: poner reglas generales en el bloque del asterisco y luego añadir un bloque específico para un buscador con una sola regla, dejando sin efecto todo lo demás para él.

Entre reglas que coinciden gana la más específica, no la que aparezca antes.

Debe estar exactamente en la raíz: tudominio.com/robots.txt. En un subdirectorio no se lee, y cada subdominio necesita el suyo.

Y una precisión importante: robots.txt impide el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados si hay enlaces hacia ella. Para que no aparezca hay que usar noindex — y para eso el rastreador tiene que poder entrar a leerlo, así que no puedes bloquearla a la vez.

llms.txt y los rastreadores de IA

Un asunto reciente y en movimiento, sobre el que conviene tomar una decisión consciente.

Los rastreadores de modelos de lenguaje recogen contenido para entrenamiento y para responder preguntas en tiempo real. Son dos usos distintos y no todo el mundo quiere lo mismo con cada uno.

La propuesta de llms.txt es un archivo en la raíz que orienta a esos sistemas sobre tu contenido: qué páginas son las relevantes, cómo está organizado y qué preferirías que hicieran con él.

Además, los principales rastreadores de IA respetan reglas en robots.txt bajo sus propios nombres de agente, que puedes permitir o bloquear igual que a cualquier otro.

La decisión no es evidente. Bloquear protege tu contenido del entrenamiento pero también te deja fuera de las respuestas de los asistentes, que son una fuente de visitas creciente. Permitir es lo contrario.

Una postura intermedia que muchos editores adoptan: permitir el rastreo para respuestas con cita y bloquear el destinado a entrenamiento, cuando el rastreador distingue ambos casos.

Ten en cuenta que ni robots.txt ni llms.txt son mecanismos de cumplimiento obligado: son una declaración de preferencias que los actores respetuosos siguen. La protección jurídica de tu contenido viene de la normativa de propiedad intelectual, no de un archivo de texto.

Qué bloquear y qué no

Un robots.txt mal hecho hace más daño que no tenerlo.

Bloquea: paneles de administración, carritos, resultados de búsqueda internos, URL con parámetros de filtro que generan miles de combinaciones, y páginas de agradecimiento.

No bloquees nunca: CSS y JavaScript. Los buscadores necesitan renderizar la página para evaluarla, y bloquear los recursos hace que la vean rota. Es un error clásico heredado de hace quince años.

Tampoco bloquees las imágenes si te interesa la búsqueda por imágenes.

Y jamás uses robots.txt para ocultar información sensible: el archivo es público y leerlo es la forma más rápida de averiguar qué rutas existen. Lo que no debe verse se protege con autenticación, no con Disallow.

Incluye la línea Sitemap con la URL completa de tu mapa del sitio. Es la forma más sencilla de que lo encuentren.

Y comprueba el archivo después de subirlo. Un Disallow: / dejado por error tras una migración es una de las formas más rápidas de desaparecer de los buscadores, y suele descubrirse semanas después.

Preguntas frecuentes