サイトマップファインダー

サイトマップ ファインダーは、Web サイトが公開するすべての XML サイトマップを検出するツールです。サイトマップの場所を推測する代わりに、サイト robots.txt を読み取り、数十の一般的なサイトマップ パスを並行して調査します。これにより、すべてのサイトマップ URL、そのタイプ (インデックスまたは URL セット)、URL 数、およびファイル サイズの完全なインベントリが得られます。

/sitemap.xml は最も一般的な場所ですが、多くのサイトでは使用されていません。バージョン 5.5 以降の WordPress は /wp-sitemap.xml を使用します。 Yoast SEO は、/post-sitemap.xml、/page-sitemap.xml、/category-sitemap.xml などを公開します。 Shopify は、/sitemap_products_1.xml のような番号付きパターンを使用します。一部の出版社は、Google ニュース用に別の /news-sitemap.xml を保持しています。このツールはそれらすべてを自動的にチェックします。

robots.txt ファイルは、1 つ以上の Sitemap: ディレクティブを使用して、サイトがサイトマップを宣言する公式に推奨される方法です。ファインダーは最初に robots.txt を取得し、そこで宣言されているすべてのサイトマップに加えて、共通パスを調査して見つかった追加のサイトマップをリストします。

はい。すべての候補 URL が取得され、.gz ファイルの場合は解凍され、XML として解析され、sitemaps.org のルート要素 (<urlset> または <sitemapindex>) に対して検証されます。検証に合格した URL のみが「サイトマップが見つかりました」として表示されます。robots.txt にリストされている壊れた URL または構成が間違っている URL は、警告として個別に表示されます。

URLセット (<urlset>) は、ページ URL のリストを含む通常のサイトマップです。サイトマップ インデックス (<sitemapindex>) は、他のサイトマップを参照するサイトマップです。サイトが 1 つのサイトマップには大きすぎる場合に使用されます。大規模な電子商取引およびニュース Web サイトは通常、数十の子サイトマップを指すサイトマップ インデックスを公開しています。

はい、robots.txt で宣言されていれば可能です。サイトが完全なカスタム パス (/assets/xml/all-pages.xml など) を使用していて、それを robots.txt で宣言していない場合、ファインダーはパスを推測しません。その場合は、代わりに直接 URL をサイトマップ URL 抽出ツールに貼り付けてください。

はい。完全なサブドメイン (shop.example.com や blog.example.com など) を入力すると、ファインダーはそのサブドメインの robots.txt およびサイトマップのパスを調べます。通常、各サブドメインはルート ドメインとは独立して独自のサイトマップを公開します。

いいえ。ファインダーは、公開されているファイル (robots.txt および標準のサイトマップ パス) に対して匿名の HTTP リクエストを作成します。認証情報は送信されず、通知もトリガーされません。これは、Googlebot などの検索エンジン クローラーが毎日実行するアクティビティと同じです。

一部のサイトでは、自動リクエストに対して 403 Forbidden を返すボット対策保護 (Cloudflare、Akamai、カスタム ファイアウォール) を使用しています。これが発生すると、ファインダーはエラーを報告し、サイトマップが見つからないことがよくあります。後でもう一度試すか、ブラウザでサイトマップを手動で確認してください。

はい、完全に無料です。アカウントやサインアップは不要で、組み込みのリクエストごとのタイムアウトを超える使用制限もありません。 SEO 監査、競合他社の調査、技術的なデューデリジェンスに必要な数のドメインを検査できます。