robots.txt 產生

用使用者代理、路徑和網站地圖寫出 robots.txt。頁面標籤仍在 Meta 標籤

這一頁做什麼

robots.txt 告訴爬蟲可以抓什麼。這一頁按頁面上的欄位寫出這些行。標題和 Open Graph 仍在 Meta 標籤。

怎麼用

  1. 使用者代理一開始是 *。允許、禁止和網站地圖都是一行一條。抓取延遲可以空著。
  2. 轉換只做一次。顯示範例把使用者代理設為 *，允許設為 /，禁止設為 /admin 和 /search，抓取延遲留空，網站地圖設為 https://example.com/sitemap.xml。
  3. 結果是 User-agent: *、Allow: /、Disallow: /admin、Disallow: /search、Sitemap: https://example.com/sitemap.xml。
  4. 全部清除把使用者代理設回 *，並清空其他欄位和結果。複製結果複製這段文字。

規則和邊界

框裡的空行會跳過。先寫全部使用者代理，再寫全部允許，再寫全部禁止，抓取延遲有數字時寫 Crawl-delay，最後寫每條網站地圖。抓取延遲不是整數會報錯。只有使用者代理，沒有允許、禁止、延遲或網站地圖，也會報錯。輸出裡的欄位名保持 User-agent、Allow、Disallow、Crawl-delay 和 Sitemap。

用在哪

  • 禁止 /admin 和 /search，其餘放開。
  • 加上一條網站地圖網址。
  • 把這五行抄進 robots.txt。

常見問題

為什麼範例裡沒有 Crawl-delay？

顯示範例把這一欄留空，所以這一行不寫。

這一頁會寫 hreflang 嗎？

不會。它只寫 robots.txt。