robots.txt生成

ユーザーエージェント、パス、サイトマップからrobots.txtを書きます。ページのタグは メタタグ

このページがすること

robots.txtはクローラが取ってよいものを伝えます。このページは欄から行を書きます。タイトルとOpen Graphはメタタグです。

使い方

  1. ユーザーエージェントの初期値は*です。許可、拒否、サイトマップは1行に1件です。クロール間隔は空でも構いません。
  2. 変換は1回です。例を表示はユーザーエージェントを*、許可を/、拒否を/adminと/search、クロール間隔は空、サイトマップをhttps://example.com/sitemap.xmlにします。
  3. 結果はUser-agent: *、Allow: /、Disallow: /admin、Disallow: /search、Sitemap: https://example.com/sitemap.xmlです。
  4. すべてクリアはユーザーエージェントを*に戻し、他の欄と結果を空にします。結果をコピーは文章をコピーします。

規則と境界

欄の空行は飛ばします。先にユーザーエージェント、次に許可、次に拒否、クロール間隔に数字があればCrawl-delay、最後にサイトマップです。整数でない間隔はエラーです。ユーザーエージェントだけで、許可も拒否も間隔もサイトマップも無いときもエラーです。出力の名前はUser-agent、Allow、Disallow、Crawl-delay、Sitemapのままです。

使うところ

  • /adminと/searchを拒否し、残りは開く。
  • サイトマップのURLを1つ足す。
  • 5行をrobots.txtへコピーする。

質問

例にCrawl-delayが無いのはなぜですか？

例を表示はその欄を空にするので、行を書きません。

hreflangは書きますか？

書きません。robots.txtだけです。