Pemeriksa GEO Robots.txt

Pengoptimalan Mesin Generatif (GEO) adalah praktik untuk memastikan mesin telusur dan asisten obrolan yang didukung AI dapat menemukan, memahami, dan mengutip konten Anda. Jika robots.txt Anda memblokir perayap yang digunakan oleh mesin ini, situs Anda tidak dapat muncul di penelusuran ChatGPT, jawaban Claude, kutipan Kebingungan, Ikhtisar Google AI, atau hasil Meta AI — terlepas dari seberapa bagus konten Anda.

Perayap penelusuran AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) dan pengambilan pengguna (ChatGPT-User, Claude-User, Perplexity-User) adalah yang benar-benar menampilkan konten Anda dalam jawaban AI. Perayap pelatihan AI (GPTBot, ClaudeBot, Google-Exended, Applebot-Exended) memengaruhi apakah konten Anda membentuk model dasar dari waktu ke waktu — keputusan SEO jangka panjang.

Itu adalah keputusan bisnis. Memblokir bot pelatihan AI (GPTBot, ClaudeBot, Google-Exended, dll.) akan menjaga nilai konten Anda untuk kesepakatan lisensi atau mengurangi penggunaan kembali yang tidak terkontrol. Mengizinkan mereka dapat meningkatkan kepercayaan diri model ini dalam berbicara tentang merek Anda. Sebagian besar penerbit mengizinkan bot pencarian AI dan hanya memblokir bot pelatihan.

Google-Exended adalah agen pengguna khusus yang mengontrol apakah Google menggunakan konten Anda untuk melatih dan meningkatkan produk AI generatifnya (Gemini, sebelumnya Bard), tanpa memengaruhi peringkat Google Penelusuran. Memblokir Google-Extend TIDAK menghapus Anda dari Google Penelusuran — ini hanya membuat Anda tidak mengikuti pelatihan AI.

Content-Signal adalah arahan baru yang diusulkan sebagai persetujuan/penyisihan per sinyal yang eksplisit untuk penggunaan AI (ai-train, pencarian, ai-input). Ini melengkapi robots.txt dengan menyatakan maksud, bukan aturan khusus perayap. Dukungan masih terus bertambah, namun pernyataan ini merupakan sinyal kuat mengenai posisi Anda dalam penggunaan AI.

Ya. Sesuai standar pengecualian robot, ketika situs tidak memiliki robots.txt (HTTP 404 atau file kosong), perayap menganggap semuanya diperbolehkan. Pemeriksa kami melaporkan hal ini dan menandai setiap bot yang dipantau sebagai diizinkan.

Jika robots.txt Anda tidak memiliki blok aturan khusus untuk bot (misalnya tidak ada Agen Pengguna: GPTBot yang eksplisit), bot akan kembali ke grup Agen Pengguna: * sesuai dengan protokol pengecualian robot. Pemeriksa mereplikasi perilaku yang sama sehingga hasilnya mencerminkan apa yang dilihat oleh crawler sebenarnya.

Dampaknya biasanya minimal untuk situs-situs tertentu. Perayap AI menghargai anggaran perayapan dan mengatur kecepatannya sendiri. Jika pemuatan perayap menjadi masalah, Anda dapat menggunakan Penundaan perayapan atau membatasi jalur tertentu (misalnya /penelusuran/, /keranjang/) daripada memblokir bot sepenuhnya.

Ya. Setiap kali Anda mengirimkan URL, kami mengambil robots.txt langsung dari situs tanpa cache, menguraikannya, dan mengevaluasi setiap bot terhadap versi saat ini. Tidak ada penyimpanan data — hasilnya mencerminkan keadaan sebenarnya robots.txt Anda pada saat pemeriksaan.

Ya, sepenuhnya gratis. Tanpa akun, tanpa pendaftaran, dan tanpa batasan penggunaan. Ideal untuk audit GEO yang sedang berlangsung, pembandingan pesaing, dan verifikasi sebelum/pasca penerapan.