Sitemap Finder

Sitemap Finder — это инструмент, который обнаруживает каждый XML-Sitemap, публикуемый сайтом. Вместо того чтобы гадать, где находятся Sitemap, он читает robots.txt сайта и параллельно проверяет десятки распространённых путей Sitemap, предоставляя полный список каждого URL-адреса Sitemap, его типа (индекс или urlset), количества URL-адресов и размера файла.

/sitemap.xml — самое распространённое расположение, но многие сайты его не используют. WordPress с версии 5.5 использует /wp-sitemap.xml. Yoast SEO публикует /post-sitemap.xml, /page-sitemap.xml, /category-sitemap.xml и другие. Shopify использует нумерованные шаблоны, такие как /sitemap_products_1.xml. Некоторые издатели держат отдельный /news-sitemap.xml для Google Новостей. Этот инструмент проверяет все автоматически.

Файл robots.txt — это официально рекомендованный способ для сайта объявлять свои Sitemap, используя одну или несколько директив Sitemap:. Инструмент сначала загружает robots.txt и перечисляет каждый Sitemap, объявленный там, плюс любые дополнительные Sitemap, найденные при проверке общих путей.

Да. Каждый URL-адрес кандидата загружается, распаковывается, если это файл .gz, разбирается как XML и проверяется по корневым элементам sitemaps.org (<urlset> или <sitemapindex>). Только URL-адреса, прошедшие проверку, отображаются как Найденные Sitemap — битые или неправильно настроенные URL-адреса, перечисленные в robots.txt, отображаются отдельно как предупреждения.

urlset (<urlset>) — это обычная Sitemap, содержащая список URL-адресов страниц. Индекс Sitemap (<sitemapindex>) — это Sitemap, ссылающаяся на другие Sitemap — используется, когда сайт слишком велик для одной Sitemap. Крупные сайты электронной коммерции и новостей обычно публикуют индекс Sitemap, указывающий на десятки дочерних Sitemap.

Да, если они объявлены в robots.txt. Если сайт использует полностью нестандартный путь (например, /assets/xml/all-pages.xml) и не объявляет его в robots.txt, инструмент его не угадает. В этом случае вставьте прямой URL-адрес в наш экстрактор URL-адресов Sitemap.

Да. Введите полный поддомен (например, shop.example.com или blog.example.com), и инструмент изучит robots.txt и пути Sitemap этого поддомена. Каждый поддомен обычно публикует свою собственную Sitemap независимо от корневого домена.

Нет. Инструмент делает анонимные HTTP-запросы к общедоступным файлам (robots.txt и стандартным путям Sitemap). Учётные данные не отправляются, уведомления не срабатывают — это та же деятельность, которую сканеры поисковых систем, такие как Googlebot, выполняют каждый день.

Некоторые сайты используют защиту от ботов (Cloudflare, Akamai, пользовательские брандмауэры), возвращающую 403 Forbidden для автоматизированных запросов. Когда это происходит, инструмент сообщает об ошибках и часто ни один Sitemap не будет найден. Попробуйте позже или проверьте Sitemap вручную в браузере.

Да, полностью бесплатно — без аккаунта, без регистрации и без ограничений по использованию, кроме встроенного тайм-аута на запрос. Вы можете проверять столько доменов, сколько нужно для SEO-аудитов, исследования конкурентов и технической due diligence.