GEO Robots.txt Checker
robots.txt dosyanızın Generative Engine Optimization için hazır olup olmadığını kontrol edin. Hangi AI arama ve eğitim botlarının sitenize erişebileceğini anında görün.
Generative Engine Optimization (GEO) Nedir?
GEO, sitenizin AI destekli arama motorları ve sohbet asistanları — ChatGPT, Claude, Perplexity, Google AI Overviews, Meta AI ve daha fazlası — tarafından keşfedilebilir, alıntılanabilir ve bahsedilebilir olması için optimize etme uygulamasıdır. İlk önkoşul, bu botların robots.txt tarafından izin verilmesidir.
Bu denetleyici, GEO için önemli 19 botu inceler — AI eğitim tarayıcıları (GPTBot, ClaudeBot, Google-Extended), AI arama tarayıcıları (OAI-SearchBot, PerplexityBot, Claude-SearchBot), kullanıcı istekli getiriciler (ChatGPT-User, Claude-User) ve klasik arama tarayıcıları (Googlebot, Bingbot) dahil — ve sitenizin tam olarak hangilerine izin verdiğini gösterir.
Bot Referansı
Google'ın ana arama tarayıcısı — bunu asla engellemeyin.
Google'ın içeriğinizi Gemini / Bard eğitmek için kullanıp kullanmadığını kontrol eder.
GPT modellerini eğitmek için içerik toplamak amacıyla kullanılan OpenAI tarayıcısı.
ChatGPT arama sonuçlarını ve alıntılarını besleyen OpenAI tarayıcısı.
Bir kullanıcı ChatGPT'den bir sayfayı ziyaret etmesini istediğinde URL'leri talep üzerine getirir.
Claude'u eğitmek için içerik toplamak amacıyla kullanılan Anthropic tarayıcısı.
Claude web arama sonuçları için Anthropic tarayıcısı.
Bir Claude kullanıcısı bir URL paylaştığında veya istediğinde talep üzerine getirme.
AI cevap motorlarını besleyen Perplexity tarayıcısı.
Perplexity konuşmalarında kullanıcı tetikli getirme.
Meta AI, Llama eğitimi ve ürün özellikleri için Meta tarayıcısı.
Apple'ın içeriğinizi Apple Intelligence eğitimi için kullanıp kullanamayacağını kontrol eder.
Alexa ve diğer AI özellikleri için kullanılan Amazon tarayıcısı.
Doubao ve ilgili modelleri eğitmek için kullanılan ByteDance / TikTok tarayıcısı.
Common Crawl — bir noktada neredeyse her LLM tarafından kullanılan açık bir veri kümesi.
Sıkça Sorulan Sorular
Bu GEO Robots.txt Checker Hakkında
Bu denetleyici, özellikle Generative Engine Optimization üzerinde çalışan SEO ve içerik ekipleri için tasarlandı. Bir robots.txt dosyasını manuel olarak okumak ve bot adlarını çapraz referanslamak yerine, önemli 19 tarayıcı için anında renk kodlu bir değerlendirme alırsınız — klasikler (Googlebot, Bingbot) ve OpenAI, Anthropic, Google, Meta, Apple, Amazon, ByteDance, Perplexity ve Common Crawl'dan tüm ilgili AI arama/eğitim botları dahil.
Ayrıştırıcı Google tarzı robots.txt değerlendirmesini izler: alt dize tabanlı user-agent eşleşmesi, yol değerlendirmesinde en uzun kural kazanır ve User-agent: *'a joker karakter geri dönüşü. Ayrıca yükselen Content-Signal yönergesini algılar ve her bildirilen Sitemap: referansını listeler.