Robots.txt 生成器
使用搜索引擎和 AI 爬虫的现代规则创建 SEO 优化的 robots.txt 文件
配置
粒度爬虫控制
搜索引擎：
- Google - Googlebot
- Bing - Bingbot
- Yahoo - Slurp
- Yandex - YandexBot
- Baidu - Baiduspider
- DuckDuckGo - DuckDuckBot
主要AI爬虫：
- ChatGPT - GPTBot
- SearchGPT - OAI-SearchBot
- Claude - Claude-Web
- Gemini - Gemini-Bot
- Meta AI - Meta-ExternalAgent
- Amazon - Amazonbot
- Apple - Applebot
- Common Crawl - CCBot
- Perplexity - PerplexityBot
- 以及超过 15 个 AI 爬虫
注意事项：
- 完全控制您的内容
- 知识产权保护
- 服务器负载管理
- 保持竞争优势
- 每个爬虫的具体选择
搜索引擎优化
适用于所有主要搜索引擎的现代规则
人工智能意识
控制ChatGPT、Gemini等AI爬虫
安全第一
阻止恶意和不需要的爬虫
即用型
立即复制或下载您的 robots.txt
常见问题解答
Robots.txt 是一个文件，它告诉搜索引擎和网络爬虫他们可以或不能访问您网站的哪些部分。它对于 SEO 控制、防止私人页面索引以及管理爬虫流量以减少服务器负载至关重要。
这取决于你的目标。如果您想保护您的内容不被用于 AI 训练、保持竞争优势或减少服务器负载，请阻止 AI 爬虫。如果您希望通过 AI 搜索发现您的内容并且不介意为 AI 训练数据集做出贡献，请允许它们。
将 robots.txt 放置在您网站的根目录中。应该可以通过 https://yoursite.com/robots.txt 访问它。该文件必须准确命名为“robots.txt”（小写）并且可以公开访问。
每当您向网站添加新部分、更改隐私要求或出现新的 AI 爬虫时，请更新 robots.txt。随着人工智能的快速发展，建议每季度检查一次新的爬虫。