Wyszukiwarka map witryn

Wyszukiwarka map witryn to narzędzie, które odkrywa każdą mapę witryny XML opublikowaną w witrynie. Zamiast zgadywać, gdzie znajdują się mapy witryn, odczytuje plik robots.txt witryny i równolegle bada dziesiątki popularnych ścieżek map witryn — zapewniając pełny spis adresów URL każdej mapy witryny, jej typu (indeks lub zestaw url), liczby adresów URL i rozmiaru pliku.

/sitemap.xml jest najczęstszą lokalizacją, ale wiele witryn z niej nie korzysta. WordPress od wersji 5.5 używa pliku /wp-sitemap.xml. Yoast SEO udostępnia /post-sitemap.xml, /page-sitemap.xml, /category-sitemap.xml i więcej. Shopify używa wzorców numerowanych, takich jak /sitemap_products_1.xml. Niektórzy wydawcy przechowują oddzielny plik /news-sitemap.xml dla Google News. To narzędzie sprawdza je wszystkie automatycznie.

Plik robots.txt to oficjalnie zalecany sposób deklarowania przez witrynę map witryn przy użyciu jednej lub większej liczby dyrektyw Sitemap:. Wyszukiwarka najpierw pobiera plik robots.txt i wyświetla listę wszystkich zadeklarowanych w nim map witryn oraz wszelkich dodatkowych map witryn znalezionych poprzez sondowanie typowych ścieżek.

Tak. Każdy proponowany adres URL jest pobierany, dekompresowany, jeśli jest to plik .gz, analizowany jako XML i sprawdzany pod kątem głównych elementów sitemaps.org (<urlset> lub <sitemapindex>). Tylko adresy URL, które przejdą weryfikację, wyświetlają się jako „Znaleziono mapy witryn” – uszkodzone lub błędnie skonfigurowane adresy URL wymienione w pliku robots.txt są wyświetlane oddzielnie jako ostrzeżenia.

Zestaw urlset (<urlset>) to zwykła mapa witryny zawierająca listę adresów URL stron. Indeks mapy witryny (<sitemapindex>) to mapa witryny odwołująca się do innych map witryn — używana, gdy witryna jest zbyt duża, aby pomieścić pojedynczą mapę witryny. Duże witryny handlu elektronicznego i serwisy informacyjne zazwyczaj publikują indeks map witryn wskazujący dziesiątki map witryn podrzędnych.

Tak, o ile są one zadeklarowane w pliku robots.txt. Jeśli witryna używa całkowicie niestandardowej ścieżki (na przykład /assets/xml/all-pages.xml) i nie zadeklaruje jej w pliku robots.txt, wyszukiwarka jej nie odgadnie. W takim przypadku wklej zamiast tego bezpośredni adres URL do naszego narzędzia do wyodrębniania adresów URL mapy witryny.

Tak. Wpisz pełną subdomenę (na przykład sklep.example.com lub blog.example.com), a wyszukiwarka sprawdzi ścieżkę pliku robots.txt i mapy witryny tej subdomeny. Każda subdomena zazwyczaj publikuje własną mapę witryny, niezależną od domeny głównej.

Nie. Wyszukiwarka wysyła anonimowe żądania HTTP do publicznie dostępnych plików (robots.txt i standardowych ścieżek map witryn). Żadne dane uwierzytelniające nie są wysyłane ani nie jest wyzwalane żadne powiadomienie — jest to ta sama czynność, którą codziennie wykonują roboty indeksujące wyszukiwarki, takie jak Googlebot.

Niektóre witryny korzystają z ochrony przed botami (Cloudflare, Akamai, niestandardowe zapory ogniowe), która zwraca 403 Forbidden w przypadku automatycznych żądań. Gdy tak się stanie, wyszukiwarka zgłosi błędy i często nie zostaną znalezione żadne mapy witryn. Spróbuj ponownie później lub ręcznie sprawdź mapy witryn w przeglądarce.

Tak, całkowicie za darmo — bez konta, bez rejestracji i bez limitów użytkowania poza wbudowanym limitem czasu na żądanie. Możesz sprawdzić dowolną liczbę domen do audytów SEO, badań konkurencji i technicznego due diligence.