Robots.txt ジェネレーター
検索エンジンと AI クローラーの最新ルールを使用して、SEO に最適化された robots.txt ファイルを作成します
構成
粒度の高いクローラー制御
検索エンジン:
- Google - Googlebot
- Bing - Bingbot
- Yahoo - Slurp
- Yandex - YandexBot
- Baidu - Baiduspider
- DuckDuckGo - DuckDuckBot
主要な AI クローラー:
- ChatGPT - GPTBot
- SearchGPT - OAI-SearchBot
- Claude - Claude-Web
- Gemini - Gemini-Bot
- Meta AI - Meta-ExternalAgent
- Amazon - Amazonbot
- Apple - Applebot
- Common Crawl - CCBot
- Perplexity - PerplexityBot
- さらに 15 以上の AI クローラー
考慮事項:
- コンテンツを完全にコントロール
- 知的財産の保護
- サーバー負荷管理
- 競争上の優位性を維持する
- クローラーごとの具体的な選択
SEO最適化
すべての主要な検索エンジンの最新ルール
AIを意識した
ChatGPT、Gemini、その他の AI クローラーを制御する
セキュリティ第一
悪意のある不要なクローラーをブロックします
すぐに使える
robots.txt をすぐにコピーまたはダウンロードします
よくある質問
Robots.txt は、検索エンジンや Web クローラーに、Web サイトのどの部分にアクセスできるか、アクセスできないかを伝えるファイルです。これは、SEO の制御、プライベート ページのインデックス作成の防止、およびサーバーの負荷を軽減するためのクローラー トラフィックの管理に不可欠です。
それはあなたの目標によって異なります。 AI トレーニングでコンテンツが使用されないように保護したり、競争上の優位性を維持したり、サーバーの負荷を軽減したりする場合は、AI クローラーをブロックします。 AI 検索を通じてコンテンツを発見できるようにしたい場合、および AI トレーニング データセットに貢献することを気にしない場合は、許可してください。
robots.txt を Web サイトのルート ディレクトリに配置します。 https://yoursite.com/robots.txt からアクセスできるはずです。ファイルの名前は正確に「robots.txt」（小文字）にし、一般にアクセスできるようにする必要があります。
サイトに新しいセクションを追加したり、プライバシー要件を変更したり、新しい AI クローラーが出現したりするたびに、robots.txt を更新します。 AI の急速な進化に伴い、四半期ごとに新しいクローラをチェックすることが推奨されます。