robots.txtジェネレーター
検索エンジンクローラーのアクセスを制御するrobots.txtファイルを生成します
クイックテンプレート
クローラールール
追加設定
サイトマップURLを入力すると、robots.txtにSitemapディレクティブが追加されます。
クローラーのリクエスト間隔を秒単位で設定します。（任意）
優先ドメインを指定します。一部のクローラーのみ対応しています。（任意）
生成されたrobots.txt
上記の内容をコピーして、ウェブサイトのルートディレクトリにrobots.txtファイルとして保存してください。
robots.txtとは？
robots.txtはウェブサイトのルートディレクトリに配置されるテキストファイルで、検索エンジンクローラー（ボット）にどのページをクロールしてよいかを伝える役割を果たします。このファイルを通じて、特定のディレクトリやファイルへのクローラーのアクセスを許可または拒否できます。SEO最適化において重要な役割を果たし、サーバー負荷を軽減し、検索結果に不要なページが表示されるのを防ぎます。
よくある質問
robots.txtファイルは必ずウェブサイトのルートディレクトリに保存する必要があります。例えば、https://example.com/robots.txtのパスでアクセスできる必要があります。サブディレクトリに保存するとクローラーが認識できません。
いいえ。robots.txtはクローラーへの推奨事項を伝えるだけであり、強制力はありません。悪意のあるクローラーはこれを無視する可能性があります。ページを検索結果から完全に除外するには、meta robotsタグのnoindexディレクティブまたはHTTP X-Robots-Tagヘッダーを使用する必要があります。
Crawl-delayは標準ディレクティブではなく、すべてのクローラーが対応しているわけではありません。Bing、Yandexなどは対応していますが、GoogleはCrawl-delayを無視します。Googleのクロール速度を調整するには、Google Search Consoleを使用する必要があります。