Robots.txt 생성기
robots.txt 파일을 즉시 생성하세요. User-agent 규칙, Allow/Disallow 경로, Sitemap URL을 설정할 수 있습니다. 회원가입 없이 무료로 사용 가능합니다.
사용 방법
- 드롭다운에서 User-agent를 선택하거나(
*는 모든 봇 대상) 직접 봇 이름을 입력합니다. - + Allow 또는 + Disallow를 클릭하여 경로 규칙을 추가합니다.
- 봇별 설정이 필요하면 「+ Add User-agent Block」으로 블록을 추가합니다.
- Sitemap이 있다면 Sitemap URL을 입력합니다.
- robots.txt 내용이 실시간으로 업데이트됩니다 — Copy를 클릭해 복사하세요.
자주 쓰이는 robots.txt 패턴
- 모든 봇 차단:
User-agent: *+Disallow: / - 모든 봇 허용:
User-agent: *+Disallow:(값 비워두기) - 특정 디렉터리 차단:
Disallow: /admin/ - Googlebot만 허용:
*를 차단한 뒤, Googlebot 블록을 별도 추가하고Disallow:를 비워 두기
파일 생성 후 웹 서버 루트 디렉터리에 업로드하여
https://yourdomain.com/robots.txt로 접근할 수 있도록 하세요.
FAQ
robots.txt란 무엇인가요?
robots.txt는 웹사이트 루트 디렉터리(예: https://example.com/robots.txt)에 위치한 텍스트 파일로, 웹 크롤러에게 접근 허용 또는 금지할 페이지와 디렉터리를 안내합니다. Robots Exclusion Protocol을 따릅니다.
robots.txt로 모든 봇을 차단할 수 있나요?
아닙니다. robots.txt는 규약일 뿐 보안 수단이 아닙니다. Googlebot, Bingbot 같은 준수하는 크롤러는 이를 따르지만, 악성 봇은 무시할 수 있습니다. 콘텐츠 접근을 실제로 제한하려면 서버 수준의 접근 제어를 사용하세요.
'Disallow: /'는 무슨 의미인가요?
지정된 User-agent에게 사이트의 모든 페이지를 크롤링하지 말라고 지시합니다. 'User-agent: *'와 'Disallow: /'를 함께 사용하면 모든 준수 봇이 사이트 전체에 접근하지 못하게 됩니다.
여러 User-agent 블록을 설정할 수 있나요?
네. 크롤러마다 별도의 규칙 세트를 정의할 수 있습니다. '+ Add User-agent Block'을 클릭하여 블록을 추가하세요. 각 블록은 고유한 Allow/Disallow 규칙을 가질 수 있습니다.
Sitemap 지시문은 어디에 넣어야 하나요?
Sitemap 지시문은 robots.txt 파일 끝에 위치시키는 것이 일반적입니다. 검색 엔진에게 XML 사이트맵 위치를 알려주어 색인화할 모든 페이지를 더 쉽게 발견할 수 있도록 합니다.