Robots.txt Oluşturucu
Arama motorları ve yapay zeka tarayıcılarına yönelik modern kurallara sahip, SEO için optimize edilmiş robots.txt dosyaları oluşturun
Yapılandırma
Granül Paletli Kontrolü
Arama Motorları:
- Google - Googlebot
- Bing - Bingbot
- Yahoo - Slurp
- Yandex - YandexBot
- Baidu - Baiduspider
- DuckDuckGo - DuckDuckBot
Başlıca Yapay Zeka Tarayıcıları:
- ChatGPT - GPTBot
- SearchGPT - OAI-SearchBot
- Claude - Claude-Web
- Gemini - Gemini-Bot
- Meta AI - Meta-ExternalAgent
- Amazon - Amazonbot
- Apple - Applebot
- Common Crawl - CCBot
- Perplexity - PerplexityBot
- Ve 15'ten fazla yapay zeka tarayıcısı
Hususlar:
- İçeriğiniz üzerinde tam kontrol
- Fikri mülkiyet koruması
- Sunucu yük yönetimi
- Rekabet avantajını koruyun
- Tarayıcı başına özel seçim
SEO Optimize Edilmiş
Tüm büyük arama motorları için modern kurallar
Yapay Zeka Farkındalığı
ChatGPT, Gemini ve diğer AI tarayıcılarını kontrol edin
Önce Güvenlik
Kötü niyetli ve istenmeyen tarayıcıları engeller
Kullanıma Hazır
Robots.txt dosyanızı anında kopyalayın veya indirin
Sıkça Sorulan Sorular
Robots.txt, arama motorlarına ve web tarayıcılarına web sitenizin hangi bölümlerine erişip erişemeyeceklerini bildiren bir dosyadır. SEO kontrolü, özel sayfaların indekslenmesini önlemek ve sunucu yükünü azaltmak amacıyla tarayıcı trafiğini yönetmek için gereklidir.
Bu, hedeflerinize bağlıdır. İçeriğinizin yapay zeka eğitiminde kullanılmasını önlemek, rekabet avantajınızı sürdürmek veya sunucu yükünü azaltmak istiyorsanız yapay zeka tarayıcılarını engelleyin. İçeriğinizin yapay zeka araması yoluyla keşfedilebilmesini istiyorsanız bunlara izin verin ve yapay zeka eğitim veri kümelerine katkıda bulunmaktan çekinmeyin.
Robots.txt dosyasını web sitenizin kök dizinine yerleştirin. https://yoursite.com/robots.txt adresinden erişilebilir olmalıdır. Dosyanın adı tam olarak "robots.txt" (küçük harf) olmalı ve herkesin erişimine açık olmalıdır.
Sitenize yeni bölümler eklediğinizde, gizlilik gereksinimlerinizi değiştirdiğinizde veya yeni AI tarayıcıları ortaya çıktığında robots.txt dosyasını güncelleyin. Yapay zekanın hızlı gelişimi nedeniyle yeni tarayıcıların üç ayda bir kontrol edilmesi önerilir.