Robots.txt 생성기

검색 엔진 및 AI 크롤러에 대한 최신 규칙을 사용하여 SEO에 최적화된 robots.txt 파일 생성

구성

실시간 미리보기

robots.txt 콘텐츠:
미리보기 로드 중...
옵션을 수정하면 이 미리보기가 자동으로 업데이트됩니다.

차단하려는 엔진을 확인하세요(기본적으로 모두 허용됨).

차단하려는 AI를 확인하세요(기본적으로 모두 허용됨).

세분화된 크롤러 제어

검색 엔진:

  • Google - Googlebot
  • Bing - Bingbot
  • Yahoo - Slurp
  • Yandex - YandexBot
  • Baidu - Baiduspider
  • DuckDuckGo - DuckDuckBot

주요 AI 크롤러:

  • ChatGPT - GPTBot
  • SearchGPT - OAI-SearchBot
  • Claude - Claude-Web
  • Gemini - Gemini-Bot
  • Meta AI - Meta-ExternalAgent
  • Amazon - Amazonbot
  • Apple - Applebot
  • Common Crawl - CCBot
  • Perplexity - PerplexityBot
  • 그리고 15개 이상의 AI 크롤러

고려사항:

  • 귀하의 콘텐츠를 완벽하게 제어할 수 있습니다.
  • 지적재산권 보호
  • 서버 부하 관리
  • 경쟁 우위 유지
  • 크롤러별 특정 선택

SEO 최적화

모든 주요 검색 엔진에 대한 최신 규칙

AI 인식

ChatGPT, Gemini 및 기타 AI 크롤러 제어

보안 우선

악의적이고 원치 않는 크롤러를 차단합니다.

사용 준비 완료

robots.txt를 즉시 복사하거나 다운로드하세요.

자주 묻는 질문