Sitemap Finder

Sitemap Finder — це інструмент, який виявляє кожен XML-Sitemap, що публікує сайт. Замість вгадувати, де знаходяться Sitemap, він читає robots.txt сайту та паралельно перевіряє десятки поширених шляхів Sitemap, надаючи повний список кожної URL-адреси Sitemap, її типу (індекс або urlset), кількості URL-адрес і розміру файлу.

/sitemap.xml — найпоширеніше розташування, але багато сайтів його не використовують. WordPress з версії 5.5 використовує /wp-sitemap.xml. Yoast SEO публікує /post-sitemap.xml, /page-sitemap.xml, /category-sitemap.xml та інші. Shopify використовує нумеровані шаблони, такі як /sitemap_products_1.xml. Деякі видавці тримають окремий /news-sitemap.xml для Google Новин. Цей інструмент перевіряє всі автоматично.

Файл robots.txt — це офіційно рекомендований спосіб для сайту оголошувати свої Sitemap, використовуючи одну або декілька директив Sitemap:. Інструмент спочатку завантажує robots.txt і перераховує кожен Sitemap, оголошений там, плюс будь-які додаткові Sitemap, знайдені під час перевірки поширених шляхів.

Так. Кожна URL-адреса кандидата завантажується, розпаковується, якщо це файл .gz, аналізується як XML і перевіряється щодо кореневих елементів sitemaps.org (<urlset> або <sitemapindex>). Лише URL-адреси, які проходять перевірку, з'являються як Знайдені Sitemap — непрацюючі або неправильно налаштовані URL-адреси, перераховані в robots.txt, показуються окремо як попередження.

urlset (<urlset>) — це звичайний Sitemap, що містить список URL-адрес сторінок. Індекс Sitemap (<sitemapindex>) — це Sitemap, що посилається на інші Sitemap — використовується, коли сайт занадто великий для одного Sitemap. Великі сайти електронної комерції та новин зазвичай публікують індекс Sitemap, що вказує на десятки дочірніх Sitemap.

Так, за умови, що вони оголошені в robots.txt. Якщо сайт використовує повністю нестандартний шлях (наприклад, /assets/xml/all-pages.xml) і не оголошує його в robots.txt, інструмент його не вгадає. У цьому випадку вставте пряму URL-адресу в наш екстрактор URL-адрес Sitemap.

Так. Введіть повний піддомен (наприклад, shop.example.com або blog.example.com), і інструмент вивчить robots.txt і шляхи Sitemap цього піддомену. Кожен піддомен зазвичай публікує свій власний Sitemap незалежно від кореневого домену.

Ні. Інструмент виконує анонімні HTTP-запити до загальнодоступних файлів (robots.txt і стандартних шляхів Sitemap). Облікові дані не надсилаються, сповіщення не спрацьовують — це та сама діяльність, яку сканери пошукових систем, такі як Googlebot, виконують щодня.

Деякі сайти використовують захист від ботів (Cloudflare, Akamai, користувацькі брандмауери), який повертає 403 Forbidden для автоматизованих запитів. Коли це відбувається, інструмент повідомляє про помилки, і часто жоден Sitemap не буде знайдено. Спробуйте пізніше або перевірте Sitemap вручну у браузері.

Так, повністю безкоштовно — без облікового запису, без реєстрації та без обмежень використання, окрім вбудованого тайм-ауту на запит. Ви можете перевіряти стільки доменів, скільки потрібно для SEO-аудитів, дослідження конкурентів і технічної due diligence.