robots.txtジェネレーター
検索エンジンクローラーのアクセスを制御するrobots.txtファイルを生成します
クイックテンプレート
クローラールール
追加設定
サイトマップURLを入力すると、robots.txtにSitemapディレクティブが追加されます。
クローラーのリクエスト間隔を秒単位で設定します。（任意）
優先ドメインを指定します。一部のクローラーのみ対応しています。（任意）
生成されたrobots.txt
上記の内容をコピーして、ウェブサイトのルートディレクトリにrobots.txtファイルとして保存してください。
robots.txtとは？
robots.txtはウェブサイトのルートディレクトリに配置されるテキストファイルで、検索エンジンクローラー（ボット）にどのページをクロールしてよいかを伝える役割を果たします。このファイルを通じて、特定のディレクトリやファイルへのクローラーのアクセスを許可または拒否できます。SEO最適化において重要な役割を果たし、サーバー負荷を軽減し、検索結果に不要なページが表示されるのを防ぎます。
主な機能
- クイックテンプレートでrobots.txtを即座に生成できます。
- User-AgentごとにAllow/Disallowルールを自由に設定できます。
- Sitemap URLを宣言して、検索エンジンのインデックス作成を支援します。
- Crawl-delayとHostディレクティブでクロール動作を細かく制御できます。
- 生成されたrobots.txtコードをワンクリックでコピーできます。
使い方
- クイックテンプレートを選択するか、自分でルールを追加します。
- 各ルールでUser-AgentとAllow/Disallowのパスを指定します。
- 必要に応じてSitemap URL、Crawl-delay、Hostを入力します。
- 「robots.txt生成」ボタンをクリックすると、結果が表示されます。
- 「コピー」ボタンで結果をコピーし、サイトのルートに保存します。
よくある質問
robots.txtファイルは必ずウェブサイトのルートディレクトリに保存する必要があります。例えば、https://example.com/robots.txtのパスでアクセスできる必要があります。サブディレクトリに保存するとクローラーが認識できません。
いいえ。robots.txtはクローラーへの推奨事項を伝えるだけであり、強制力はありません。悪意のあるクローラーはこれを無視する可能性があります。ページを検索結果から完全に除外するには、meta robotsタグのnoindexディレクティブまたはHTTP X-Robots-Tagヘッダーを使用する必要があります。
Crawl-delayは標準ディレクティブではなく、すべてのクローラーが対応しているわけではありません。Bing、Yandexなどは対応していますが、GoogleはCrawl-delayを無視します。Googleのクロール速度を調整するには、Google Search Consoleを使用する必要があります。
コメント 0件
登録されたコメントがありません。