robots.txt 생성

이 페이지가 하는 일

robots.txt는 크롤러가 가져가도 되는 것을 알립니다. 이 페이지는 칸에서 줄을 씁니다. 제목과 Open Graph는 메타 태그입니다.

사용법

1. 사용자 에이전트는 *에서 시작합니다. 허용, 거부, 사이트맵은 한 줄에 하나입니다. 크롤 지연은 비워도 됩니다.
2. 변환은 한 번입니다. 예제 보기는 사용자 에이전트를 *, 허용을 /, 거부를 /admin과 /search, 크롤 지연은 비우고, 사이트맵을 https://example.com/sitemap.xml로 둡니다.
3. 결과는 User-agent: *, Allow: /, Disallow: /admin, Disallow: /search, Sitemap: https://example.com/sitemap.xml입니다.
4. 모두 지우기는 사용자 에이전트를 *로 되돌리고 나머지 칸과 결과를 비웁니다. 결과 복사는 글을 복사합니다.

규칙과 경계

칸의 빈 줄은 건너뜁니다. 사용자 에이전트를 먼저 쓰고, 그다음 허용, 그다음 거부, 크롤 지연에 숫자가 있으면 Crawl-delay, 마지막에 사이트맵입니다. 정수가 아닌 지연은 오류입니다. 사용자 에이전트만 있고 허용, 거부, 지연, 사이트맵이 없어도 오류입니다. 출력 이름은 User-agent, Allow, Disallow, Crawl-delay, Sitemap 그대로입니다.

쓰는 곳

• /admin과 /search는 거부하고 나머지는 엽니다.
• 사이트맵 URL을 하나 넣습니다.
• 다섯 줄을 robots.txt에 복사합니다.

질문