GEO Robots.txt 검사기
robots.txt가 생성 엔진 최적화를 위한 준비가 되었는지 확인하세요. 어떤 AI 검색 및 훈련 봇이 귀하의 사이트에 액세스할 수 있는지 즉시 확인하세요.
생성 엔진 최적화(GEO)란 무엇입니까?
GEO는 ChatGPT, Claude, Perplexity, Google AI 개요, Meta AI 등 AI 기반 검색 엔진과 채팅 도우미가 웹사이트를 발견하고, 인용하고, 인용할 수 있도록 웹사이트를 최적화하는 방법입니다. 첫 번째 전제 조건은 robots.txt에서 이러한 봇을 허용해야 한다는 것입니다.
이 검사기는 AI 훈련 크롤러(GPTBot, ClaudeBot, Google-Extended), AI 검색 크롤러(OAI-SearchBot, PerplexityBot, Claude-SearchBot), 사용자 트리거 페처(ChatGPT-User, Claude-User) 및 기존 검색 크롤러(Googlebot, Bingbot)를 포함하여 GEO에 중요한 19개의 봇을 검사하고 사이트에서 허용하는 봇을 정확하게 보여줍니다.
봇 참조
주요 Google 검색 크롤러 — 절대 차단하지 마세요.
Google이 귀하의 콘텐츠를 사용하여 Gemini/Bard를 교육하는지 여부를 제어합니다.
GPT 모델 학습을 위한 콘텐츠를 수집하는 데 사용되는 OpenAI 크롤러입니다.
ChatGPT 검색 결과 및 인용을 지원하는 OpenAI 크롤러입니다.
사용자가 ChatGPT에 페이지 방문을 요청하면 요청 시 URL을 가져옵니다.
클로드 훈련을 위한 콘텐츠를 수집하는 데 사용되는 인류 크롤러입니다.
Claude 웹 검색 결과를 위한 Anthropic 크롤러입니다.
Claude 사용자가 URL을 공유하거나 요청할 때 주문형 가져오기입니다.
AI 답변 엔진을 구동하는 Perplexity 크롤러.
Perplexity 대화 내에서 사용자가 트리거하는 가져오기입니다.
Meta AI, Llama 교육 및 제품 기능을 위한 메타 크롤러입니다.
Apple이 Apple Intelligence 교육을 위해 콘텐츠를 사용할 수 있는지 여부를 제어합니다.
Alexa 및 기타 AI 기능에 사용되는 Amazon 크롤러.
Doubao 및 관련 모델을 훈련하는 데 사용되는 ByteDance/TikTok 크롤러.
공통 크롤링 — 특정 시점에 거의 모든 LLM에서 사용되는 공개 데이터세트입니다.
자주 묻는 질문
이 GEO Robots.txt 검사기 정보
이 검사기는 생성 엔진 최적화 작업을 수행하는 SEO 및 콘텐츠 팀을 위해 특별히 제작되었습니다. robots.txt 파일을 수동으로 읽고 봇 이름을 상호 참조하는 대신, 기존 크롤러(Googlebot, Bingbot)와 OpenAI, Anthropic, Google, Meta, Apple, Amazon, ByteDance, Perplexity 및 Common Crawl의 모든 관련 AI 검색/훈련 봇을 포함하여 중요한 19개 크롤러에 대해 색상으로 구분된 즉각적인 판정을 얻을 수 있습니다.
파서는 하위 문자열 기반 사용자 에이전트 일치, 경로 평가에서 가장 긴 규칙 승리, User-agent: *에 대한 와일드카드 폴백 등 Google 스타일 robots.txt 평가를 따릅니다. 또한 새로운 Content-Signal 지시어를 감지하고 선언된 모든 Sitemap: 참조를 나열합니다.