robots.txt-Generator

Schreibt eine robots.txt aus Agenten, Pfaden und einer Sitemap. Seitentags bleiben bei Meta-Tags

Was diese Seite macht

Eine robots.txt sagt einem Crawler, was er holen darf. Diese Seite schreibt die Zeilen aus den Feldern. Titel und Open Graph bleiben bei Meta-Tags.

So geht es

  1. User-Agents beginnt mit *. Erlauben, Verbieten und Sitemaps nehmen einen Pfad oder eine URL je Zeile. Crawl-Verzögerung ist optional.
  2. Umwandeln läuft einmal. Beispiel anzeigen setzt User-Agents auf *, Erlauben auf /, Verbieten auf /admin und /search, lässt Crawl-Verzögerung leer und setzt Sitemaps auf https://example.com/sitemap.xml.
  3. Das Ergebnis ist User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Alles löschen setzt User-Agents zurück auf * und leert die anderen Felder und das Ergebnis. Ergebnis kopieren kopiert den Text.

Regeln und Grenzen

Leere Zeilen in einem Feld werden übersprungen. Zuerst alle Agenten, dann jedes Allow, dann jedes Disallow, dann Crawl-delay, wenn das Feld Ziffern hat, dann jede Sitemap. Eine Verzögerung, die keine ganze Zahl ist, stoppt mit einem Fehler. Nur Agenten, ohne Erlauben, Verbieten, Verzögerung oder Sitemap, stoppt ebenfalls. Die Namen in der Ausgabe bleiben User-agent, Allow, Disallow, Crawl-delay und Sitemap.

Wo man es nutzt

  • /admin und /search sperren und den Rest offen lassen.
  • Eine Sitemap-URL hinzufügen.
  • Die fünf Zeilen in eine robots.txt kopieren.

Fragen

Warum hat das Beispiel kein Crawl-delay?

Beispiel anzeigen lässt das Feld leer, deshalb fehlt die Zeile.

Schreibt das hreflang?

Nein. Es schreibt nur robots.txt.