Pencari Peta Situs

Pencari Peta Situs adalah alat yang menemukan setiap peta situs XML yang diterbitkan situs web. Daripada menebak di mana letak peta situs, ia membaca robots.txt situs dan memeriksa lusinan jalur peta situs umum secara paralel — memberi Anda inventaris lengkap setiap URL peta situs, jenisnya (indeks atau kumpulan url), jumlah URL, dan ukuran file.

/sitemap.xml adalah lokasi yang paling umum, namun banyak situs tidak menggunakannya. WordPress sejak versi 5.5 menggunakan /wp-sitemap.xml. Yoast SEO mengekspos /post-sitemap.xml, /page-sitemap.xml, /category-sitemap.xml dan banyak lagi. Shopify menggunakan pola bernomor seperti /sitemap_products_1.xml. Beberapa penerbit memiliki /news-sitemap.xml terpisah untuk Google Berita. Alat ini memeriksa semuanya secara otomatis.

File robots.txt adalah cara resmi yang direkomendasikan bagi sebuah situs untuk mendeklarasikan peta situsnya, menggunakan satu atau lebih arahan Sitemap:. Penemu mengambil robots.txt terlebih dahulu dan mencantumkan setiap peta situs yang dideklarasikan di sana, ditambah peta situs tambahan apa pun yang ditemukan dengan menyelidiki jalur umum.

Ya. Setiap URL kandidat diambil, didekompresi jika berupa file .gz, diurai sebagai XML dan divalidasi terhadap elemen root sitemaps.org (<urlset> atau <sitemapindex>). Hanya URL yang lulus validasi yang muncul sebagai "Peta Situs Ditemukan" — URL yang rusak atau salah dikonfigurasi yang tercantum di robots.txt akan muncul secara terpisah sebagai peringatan.

Urlset (<urlset>) adalah peta situs biasa yang berisi daftar URL halaman. Indeks peta situs (<sitemapindex>) adalah peta situs yang mereferensikan peta situs lain — digunakan ketika sebuah situs terlalu besar untuk satu peta situs. Situs web e-niaga dan berita besar biasanya menerbitkan indeks peta situs yang mengarah ke lusinan peta situs turunan.

Ya, asalkan dideklarasikan di robots.txt. Jika situs menggunakan jalur yang sepenuhnya khusus (misalnya, /assets/xml/all-pages.xml) dan tidak mendeklarasikannya di robots.txt, penemu tidak akan menebaknya. Jika demikian, tempelkan URL langsung ke Ekstraktor URL Peta Situs kami.

Ya. Masukkan subdomain lengkap (misalnya, shop.example.com atau blog.example.com) dan pencari akan melihat jalur robots.txt dan peta situs subdomain tersebut. Setiap subdomain biasanya menerbitkan peta situsnya sendiri, tidak bergantung pada domain root.

Tidak. Penemu membuat permintaan HTTP anonim ke file yang tersedia untuk umum (robots.txt dan jalur peta situs standar). Tidak ada kredensial yang dikirim dan tidak ada pemberitahuan yang dipicu — ini adalah aktivitas yang sama yang dilakukan perayap mesin telusur seperti Googlebot setiap hari.

Beberapa situs menggunakan perlindungan anti-bot (Cloudflare, Akamai, firewall khusus) yang mengembalikan 403 Forbidden untuk permintaan otomatis. Jika hal ini terjadi, penemu akan melaporkan kesalahan tersebut dan sering kali tidak ada peta situs yang ditemukan. Coba lagi nanti, atau verifikasi peta situs secara manual di browser Anda.

Ya, benar-benar gratis — tanpa akun, tanpa pendaftaran, dan tanpa batas penggunaan melebihi batas waktu bawaan per permintaan. Anda dapat memeriksa domain sebanyak yang Anda perlukan untuk audit SEO, riset pesaing, dan uji tuntas teknis.