Pembuat Robots.txt
Buat file robots.txt yang dioptimalkan untuk SEO dengan aturan modern untuk mesin telusur dan perayap AI
Konfigurasi
Kontrol Perayap Granular
Mesin Pencari:
- Google - Googlebot
- Bing - Bingbot
- Yahoo - Slurp
- Yandex - YandexBot
- Baidu - Baiduspider
- DuckDuckGo - DuckDuckBot
Perayap AI Utama:
- ChatGPT - GPTBot
- SearchGPT - OAI-SearchBot
- Claude - Claude-Web
- Gemini - Gemini-Bot
- Meta AI - Meta-ExternalAgent
- Amazon - Amazonbot
- Apple - Applebot
- Common Crawl - CCBot
- Perplexity - PerplexityBot
- Dan 15+ perayap AI lainnya
Pertimbangan:
- Kontrol penuh atas konten Anda
- Perlindungan kekayaan intelektual
- Manajemen beban server
- Mempertahankan keunggulan kompetitif
- Pilihan spesifik per crawler
SEO Dioptimalkan
Aturan modern untuk semua mesin pencari utama
Sadar AI
Kontrol ChatGPT, Gemini, dan perayap AI lainnya
Keamanan Pertama
Memblokir perayap berbahaya dan tidak diinginkan
Siap Digunakan
Salin atau unduh robots.txt Anda secara instan
Pertanyaan yang Sering Diajukan
Robots.txt adalah file yang memberi tahu mesin telusur dan perayap web bagian mana dari situs web Anda yang dapat atau tidak dapat mereka akses. Ini penting untuk kontrol SEO, mencegah pengindeksan halaman pribadi, dan mengelola lalu lintas perayap untuk mengurangi beban server.
Itu tergantung pada tujuan Anda. Blokir perayap AI jika Anda ingin melindungi konten Anda agar tidak digunakan dalam pelatihan AI, mempertahankan keunggulan kompetitif, atau mengurangi beban server. Izinkan mereka jika Anda ingin konten Anda dapat ditemukan melalui penelusuran AI dan tidak keberatan berkontribusi pada kumpulan data pelatihan AI.
Tempatkan robots.txt di direktori root situs web Anda. Ini harus dapat diakses di https://yoursite.com/robots.txt. File harus diberi nama persis "robots.txt" (huruf kecil) dan dapat diakses publik.
Perbarui robots.txt setiap kali Anda menambahkan bagian baru ke situs, mengubah persyaratan privasi, atau saat perayap AI baru muncul. Dengan pesatnya evolusi AI, disarankan untuk memeriksa crawler baru setiap tiga bulan.