robots.txt 생성기
검색엔진 크롤러의 접근을 제어하는 robots.txt 파일을 생성합니다
빠른 템플릿
크롤러 규칙
추가 설정
사이트맵 URL을 입력하면 robots.txt에 Sitemap 지시어가 추가됩니다.
크롤러의 요청 간격을 초 단위로 설정합니다. (선택사항)
선호 도메인을 지정합니다. 일부 크롤러만 지원합니다. (선택사항)
생성된 robots.txt
위 내용을 복사하여 웹사이트 루트 디렉토리에 robots.txt 파일로 저장하세요.
robots.txt란?
robots.txt는 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색엔진 크롤러(봇)에게 어떤 페이지를 크롤링해도 되는지 알려주는 역할을 합니다. 이 파일을 통해 특정 디렉토리나 파일에 대한 크롤러의 접근을 허용하거나 차단할 수 있습니다. SEO 최적화에서 중요한 역할을 하며, 서버 부하를 줄이고 검색 결과에 불필요한 페이지가 노출되는 것을 방지합니다.
주요 기능
- 빠른 템플릿으로 robots.txt를 즉시 생성할 수 있습니다.
- User-Agent별로 Allow/Disallow 규칙을 자유롭게 설정할 수 있습니다.
- Sitemap URL을 선언하여 검색엔진의 색인 생성을 돕습니다.
- Crawl-delay와 Host 지시어로 크롤링 동작을 세밀하게 제어할 수 있습니다.
- 생성된 robots.txt 코드를 한 번의 클릭으로 복사할 수 있습니다.
사용 방법
- 빠른 템플릿을 선택하거나 직접 규칙을 추가합니다.
- 각 규칙에서 User-Agent와 Allow/Disallow 경로를 지정합니다.
- 필요한 경우 Sitemap URL, Crawl-delay, Host를 입력합니다.
- "robots.txt 생성" 버튼을 클릭하면 결과가 표시됩니다.
- "복사" 버튼으로 결과를 복사하여 사이트 루트에 저장합니다.
자주 묻는 질문
robots.txt 파일은 반드시 웹사이트의 루트 디렉토리에 저장해야 합니다. 예를 들어, https://example.com/robots.txt 경로에서 접근할 수 있어야 합니다. 하위 디렉토리에 저장하면 크롤러가 인식하지 못합니다.
아닙니다. robots.txt는 크롤러에게 권고사항을 전달할 뿐이며, 강제성이 없습니다. 악성 크롤러는 이를 무시할 수 있습니다. 페이지를 검색 결과에서 완전히 제외하려면 meta robots 태그의 noindex 지시어나 HTTP X-Robots-Tag 헤더를 사용해야 합니다.
Crawl-delay는 표준 지시어가 아니며, 모든 크롤러가 지원하지는 않습니다. Bing, Yandex 등은 지원하지만 Google은 Crawl-delay를 무시합니다. Google의 크롤링 속도를 조절하려면 Google Search Console을 사용해야 합니다.
댓글 1개
등록된 댓글이 없습니다.