Gerador de robots.txt

Escreve um robots.txt a partir de agentes, caminhos e um sitemap. As etiquetas da página ficam em etiquetas meta

O que esta página faz

Um robots.txt diz a um rastreador o que pode obter. Esta página escreve as linhas a partir dos campos. O título e o Open Graph ficam em etiquetas meta.

Como usar

  1. Agentes de utilizador começa em *. Permitir, Negar e Sitemaps levam um caminho ou URL por linha. Atraso de rastreio é opcional.
  2. Converter corre uma vez. Mostrar exemplo põe Agentes de utilizador em *, Permitir em /, Negar em /admin e /search, deixa Atraso de rastreio vazio e põe Sitemaps em https://example.com/sitemap.xml.
  3. O resultado é User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml.
  4. Limpar tudo devolve Agentes de utilizador a * e esvazia os outros campos e o resultado. Copiar resultado copia o texto.

Regras e limites

As linhas em branco de uma caixa são saltadas. Primeiro vão os agentes, depois cada Allow, depois cada Disallow, depois Crawl-delay se o campo tiver dígitos, e depois cada Sitemap. Um atraso que não seja um inteiro para com um erro. Só agentes, sem permitir, negar, atraso nem sitemap, também para. Os nomes da saída continuam User-agent, Allow, Disallow, Crawl-delay e Sitemap.

Onde se usa

  • Bloquear /admin e /search e deixar o resto aberto.
  • Acrescentar um URL de sitemap.
  • Copiar as cinco linhas para um ficheiro robots.txt.

Perguntas

Porque é que o exemplo não tem Crawl-delay?

Mostrar exemplo deixa esse campo vazio, por isso a linha é omitida.

Isto escreve hreflang?

Não. Só escreve robots.txt.