robots.txt 생성기
검색엔진 크롤러의 접근을 제어하는 robots.txt 파일을 생성합니다
빠른 템플릿
크롤러 규칙
추가 설정
사이트맵 URL을 입력하면 robots.txt에 Sitemap 지시어가 추가됩니다.
크롤러의 요청 간격을 초 단위로 설정합니다. (선택사항)
선호 도메인을 지정합니다. 일부 크롤러만 지원합니다. (선택사항)
생성된 robots.txt
위 내용을 복사하여 웹사이트 루트 디렉토리에 robots.txt 파일로 저장하세요.
robots.txt란?
robots.txt는 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색엔진 크롤러(봇)에게 어떤 페이지를 크롤링해도 되는지 알려주는 역할을 합니다. 이 파일을 통해 특정 디렉토리나 파일에 대한 크롤러의 접근을 허용하거나 차단할 수 있습니다. SEO 최적화에서 중요한 역할을 하며, 서버 부하를 줄이고 검색 결과에 불필요한 페이지가 노출되는 것을 방지합니다.
자주 묻는 질문
robots.txt 파일은 반드시 웹사이트의 루트 디렉토리에 저장해야 합니다. 예를 들어, https://example.com/robots.txt 경로에서 접근할 수 있어야 합니다. 하위 디렉토리에 저장하면 크롤러가 인식하지 못합니다.
아닙니다. robots.txt는 크롤러에게 권고사항을 전달할 뿐이며, 강제성이 없습니다. 악성 크롤러는 이를 무시할 수 있습니다. 페이지를 검색 결과에서 완전히 제외하려면 meta robots 태그의 noindex 지시어나 HTTP X-Robots-Tag 헤더를 사용해야 합니다.
Crawl-delay는 표준 지시어가 아니며, 모든 크롤러가 지원하지는 않습니다. Bing, Yandex 등은 지원하지만 Google은 Crawl-delay를 무시합니다. Google의 크롤링 속도를 조절하려면 Google Search Console을 사용해야 합니다.