Generador de robots.txt

Escribe un robots.txt con agentes, rutas y un sitemap. Las etiquetas de la página siguen en metaetiquetas

Qué hace esta página

Un robots.txt dice a un rastreador qué puede traer. Esta página escribe las líneas desde los campos. El título y Open Graph siguen en metaetiquetas.

Cómo usarla

  1. Agentes de usuario empieza en *. Permitir, Denegar y Sitemaps llevan una ruta o URL por línea. Retraso de rastreo es opcional.
  2. Convertir se ejecuta una vez. Mostrar ejemplo pone Agentes de usuario en *, Permitir en /, Denegar en /admin y /search, deja Retraso de rastreo vacío y pone Sitemaps en https://example.com/sitemap.xml.
  3. El resultado es User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Borrar todo devuelve Agentes de usuario a * y vacía los otros campos y el resultado. Copiar resultado copia el texto.

Reglas y límites

Las líneas en blanco de una caja se saltan. Primero van los agentes, luego cada Allow, luego cada Disallow, luego Crawl-delay si el campo tiene dígitos, y luego cada Sitemap. Un retraso que no es un entero se detiene con un error. Solo agentes, sin permitir, denegar, retraso ni sitemap, también se detiene. Los nombres de la salida siguen siendo User-agent, Allow, Disallow, Crawl-delay y Sitemap.

Dónde se usa

  • Bloquear /admin y /search y dejar el resto abierto.
  • Añadir una URL de sitemap.
  • Copiar las cinco líneas a un archivo robots.txt.

Preguntas

¿Por qué el ejemplo no tiene Crawl-delay?

Mostrar ejemplo deja ese campo vacío, así que la línea se omite.

¿Esto escribe hreflang?

No. Solo escribe robots.txt.