Generatore robots.txt

Scrive un robots.txt da agenti, percorsi e una sitemap. I tag della pagina restano su tag meta

Cosa fa questa pagina

Un robots.txt dice a un crawler che cosa può prelevare. Questa pagina scrive le righe dai campi. Titolo e Open Graph restano su tag meta.

Come usarla

  1. User agent parte da *. Consenti, Nega e Sitemap prendono un percorso o un URL per riga. Ritardo di scansione è facoltativo.
  2. Converti esegue una volta. Mostra esempio imposta User agent su *, Consenti su /, Nega su /admin e /search, lascia Ritardo di scansione vuoto e imposta Sitemap su https://example.com/sitemap.xml.
  3. Il risultato è User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Cancella tutto riporta User agent a * e svuota gli altri campi e il risultato. Copia risultato copia il testo.

Regole e limiti

Le righe vuote di una casella si saltano. Prima gli agenti, poi ogni Allow, poi ogni Disallow, poi Crawl-delay se il campo ha cifre, poi ogni Sitemap. Un ritardo che non è un intero si ferma con un errore. Solo agenti, senza consenti, nega, ritardo o sitemap, si ferma anche. I nomi in uscita restano User-agent, Allow, Disallow, Crawl-delay e Sitemap.

Dove si usa

  • Bloccare /admin e /search e lasciare aperto il resto.
  • Aggiungere un URL di sitemap.
  • Copiare le cinque righe in un file robots.txt.

Domande

Perché l'esempio non ha Crawl-delay?

Mostra esempio lascia quel campo vuoto, quindi la riga è omessa.

Questo scrive hreflang?

No. Scrive solo robots.txt.