Générateur robots.txt

Écrit un robots.txt à partir des agents, des chemins et d'un sitemap. Les balises de page restent sur balises meta

Ce que fait cette page

Un robots.txt dit à un robot ce qu'il peut récupérer. Cette page écrit les lignes depuis les champs. Le titre et Open Graph restent sur balises meta.

Comment l'utiliser

  1. Agents utilisateur commence à *. Autoriser, Interdire et Sitemaps prennent un chemin ou une URL par ligne. Délai d'exploration est facultatif.
  2. Convertir s'exécute une fois. Afficher un exemple met Agents utilisateur sur *, Autoriser sur /, Interdire sur /admin et /search, laisse Délai d'exploration vide, et met Sitemaps sur https://example.com/sitemap.xml.
  3. Le résultat est User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Tout effacer remet Agents utilisateur sur * et vide les autres champs ainsi que le résultat. Copier le résultat copie le texte.

Règles et limites

Les lignes vides d'une zone sont ignorées. Les agents sont écrits d'abord, puis chaque Allow, puis chaque Disallow, puis Crawl-delay si le champ a des chiffres, puis chaque Sitemap. Un délai qui n'est pas un entier s'arrête avec une erreur. Des agents seuls, sans autoriser, interdire, délai ni sitemap, s'arrêtent aussi. Les noms de la sortie restent User-agent, Allow, Disallow, Crawl-delay et Sitemap.

Où on s'en sert

  • Bloquer /admin et /search tout en laissant le reste ouvert.
  • Ajouter une URL de sitemap.
  • Copier les cinq lignes dans un fichier robots.txt.

Questions

Pourquoi l'exemple n'a-t-il pas de Crawl-delay ?

Afficher un exemple laisse ce champ vide, donc la ligne est omise.

Est-ce que cela écrit hreflang ?

Non. Cela n'écrit que robots.txt.