GEO Robots.txt チェッカー
robots.txt が生成エンジン最適化の準備ができているかどうかを確認します。どの AI 検索ボットとトレーニング ボットがサイトにアクセスできるかを即座に確認できます。
生成エンジン最適化 (GEO) とは何ですか?
GEO は、AI を活用した検索エンジンやチャット アシスタント (ChatGPT、Claude、Perplexity、Google AI 概要、メタ AI など) によって Web サイトが発見、引用、引用されるように Web サイトを最適化する実践です。最初の前提条件は、これらのボットが robots.txt で許可されている必要があることです。
このチェッカーは、AI トレーニング クローラー (GPTBot、ClaudeBot、Google-Extended)、AI 検索クローラー (OAI-SearchBot、PerplexityBot、Claude-SearchBot)、ユーザートリガー フェッチャー (ChatGPT-User、Claude-User)、および従来の検索クローラー (Googlebot、Bingbot) を含む、GEO にとって重要な 19 個のボットを検査し、サイトで許可されているボットを正確に表示します。
ボットリファレンス
メインの Google 検索クローラー — これを決してブロックしないでください。
Google がジェミニ/バードのトレーニングにコンテンツを使用するかどうかを制御します。
GPT モデルをトレーニングするためのコンテンツを収集するために使用される OpenAI クローラー。
ChatGPT の検索結果と引用を強化する OpenAI クローラー。
ユーザーが ChatGPT にページへのアクセスを要求したときに、オンデマンドで URL を取得します。
人間のクローラーは、クロードを訓練するためのコンテンツを収集するために使用されていました。
クロードの Web 検索結果の人為的なクローラー。
クロード ユーザーが URL を共有またはリクエストしたときにオンデマンドでフェッチします。
AI 応答エンジンを強化する Perplexity クローラー。
Perplexity 会話内でのユーザートリガーのフェッチ。
メタ AI、Llama トレーニング、製品機能用のメタ クローラー。
Apple が Apple Intelligence トレーニングにコンテンツを使用できるかどうかを制御します。
Alexa やその他の AI 機能に使用される Amazon クローラー。
Doubao および関連モデルのトレーニングに使用される ByteDance / TikTok クローラー。
Common Crawl — ある時点でほぼすべての LLM によって使用されるオープン データセット。
よくある質問
この GEO Robots.txt チェッカーについて
このチェッカーは、生成エンジンの最適化に取り組む SEO チームとコンテンツ チームのために特別に構築されました。 robots.txt ファイルを手動で読んでボット名を相互参照する代わりに、従来のクローラー (Googlebot、Bingbot) と、OpenAI、Anthropic、Google、Meta、Apple、Amazon、ByteDance、Perplexity、Common Crawl の関連するすべての AI 検索/トレーニング ボットを含む、重要な 19 個のクローラーに対する色分けされた判定を即座に得ることができます。
パーサーは、Google スタイルの robots.txt 評価に従います。つまり、部分文字列ベースのユーザー エージェント マッチング、パス評価での最長ルール優先、およびユーザー エージェント: * へのワイルドカード フォールバックです。また、新たに出現した Content-Signal ディレクティブも検出し、宣言されたすべての Sitemap: 参照をリストします。