OAI-SearchBot·GPTBot·ChatGPT-User 차이｜robots.txt 검색 허용·학습 차단 설정

ChatGPT 검색에서 내 글을 발견하도록 허용하면서 GPTBot의 학습 수집은 거부할 수 있습니다. OAI-SearchBot은 검색용, GPTBot은 기반 모델 학습에 사용될 수 있는 콘텐츠 수집용입니다. ChatGPT-User는 사용자 요청에 따른 방문으로, 자동 수집과 구분해야 합니다.

확인 기준: 2026-11-03｜OpenAI 크롤러 문서·2026-10-30 발표·robots.txt 표준·Blogger 도움말 대조. 아래 코드는 설정 예시이며 개별 사이트에 적용하거나 봇 방문을 실측한 결과가 아닙니다.

설정 전 핵심 3가지

  • 검색과 학습을 분리해 결정: 모든 봇을 한꺼번에 허용·차단하지 말고 목적에 맞게 선택합니다.
  • 기존 설정부터 보관: 광고 봇·검색 경로 제한·사이트맵을 보존합니다.
  • 허용과 성과는 별개: 수집 허용만으로 검색 노출·AI 답변 인용·방문 증가가 보장되지는 않습니다.
OAI-SearchBot·GPTBot·ChatGPT-User 차이｜robots.txt 검색 허용·학습 차단 설정

1. OAI-SearchBot·GPTBot·ChatGPT-User 차이

이름 목적 제어할 때의 기준
OAI-SearchBot ChatGPT 검색을 위한 수집 검색 수집 허용·거부를 robots.txt로 표현
GPTBot 기반 모델 학습에 사용될 수 있는 콘텐츠 수집 해당 학습 수집 거부를 robots.txt로 표현
ChatGPT-User 사용자 요청에 따른 페이지 방문 등 자동 크롤러가 아니며 robots.txt가 적용되지 않을 수 있음

OpenAI는 검색용·학습용 설정을 독립적으로 설명합니다. ChatGPT-User는 검색 노출 여부를 결정하는 제어 수단이 아닙니다. 근거: OpenAI Crawlers 공식 문서.

2. 내 블로그는 무엇을 허용하고 차단할까?

먼저 ‘검색으로 독자가 찾아오길 원하는가’와 ‘GPTBot의 학습 수집을 허용할 것인가’를 별도 질문으로 정리하세요. 다음 표는 사이트 운영자가 선택을 정리하기 위한 안내입니다.

운영 목적 검토할 설정 추가 점검
검색 발견은 원하고 GPTBot 학습 수집은 원하지 않음 OAI-SearchBot 허용·GPTBot 차단 기존 제외 경로 유지 여부
검색·GPTBot 수집 모두 허용 두 봇에 대한 차단 규칙 확인 보안 서비스의 접근 차단 여부
OpenAI 자동 수집을 제한 두 봇 각각의 거부 규칙 검토 사용자 요청 방문과는 구분
비공개 자료 보호 로그인·권한 제어 robots.txt에 보안을 맡기지 않음

GPTBot에 대한 선택을 다른 회사의 모든 AI 봇에 대한 선택으로 확대하지 마세요. 여러 사업자를 대상으로 정책을 운영한다면 서비스별 공식 에이전트와 적용 범위를 별도로 관리해야 합니다.

3. 검색은 허용하고 GPTBot 학습 수집은 차단하는 코드

다음은 두 에이전트에 대한 기본 선택만 보여 주는 예시입니다. 기존 robots.txt 전체를 이 네 줄로 교체하지 마세요.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent는 규칙을 적용할 에이전트, Allow와 Disallow는 허용·제한 경로를 나타냅니다. /는 루트부터의 범위를 가리킵니다. robots.txt는 글 본문이나 스킨에 붙이는 HTML이 아니라 사이트 루트의 별도 텍스트 파일입니다.

Blogger의 기존 경로 제한을 함께 유지하는 조합 예시

아래는 기존에 광고 봇 그룹과 /search·/share-widget 제한을 사용하는 사이트에서, 검색용 봇에도 같은 제외 경로를 유지하려는 경우의 예시입니다. 모든 Blogger 사이트의 기본값이나 현재 ITNAI 공개 설정을 판독한 결과는 아닙니다.

User-agent: Mediapartners-Google
Disallow:

User-agent: OAI-SearchBot
Disallow: /search
Disallow: /share-widget
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /search
Disallow: /share-widget
Allow: /

# 기존 Sitemap 행이 있다면 실제 주소 그대로 유지

경로 이름은 사이트마다 다릅니다. 그대로 복사하기 전에 기존 파일과 줄 단위로 대조하세요. 사이트맵 주소도 다른 블로그의 주소로 바꾸지 말고 원래 사용하던 실제 주소를 보존합니다.

4. 별도 봇 그룹을 추가할 때 흔히 놓치는 점

공통 그룹의 제한이 특정 봇 그룹에 자동으로 더해진다고 가정하면 안 됩니다. RFC 9309는 에이전트에 맞는 그룹과 일치하지 않을 때의 공통 그룹 선택을 규정합니다. Google의 해석 문서도 특정 에이전트 그룹과 * 그룹을 합치지 않는다고 설명합니다.

따라서 공통 그룹에서 검색 결과 페이지를 막고 있더라도, 새로 만든 OAI-SearchBot 그룹에 Allow: /만 넣으면 기존 제외 경로가 그대로 유지될 것이라고 기대하지 마세요. 필요한 제한을 해당 그룹에도 명시하고 실제 동작을 확인하는 방식으로 관리합니다.

중복된 동일 에이전트 그룹, 넓은 경로 제한, 잘못 복사한 사이트맵은 변경 전후 비교 항목입니다. Google 문서의 세부 처리 방식을 모든 사업자의 구현 보장으로 일반화하지 말고, OpenAI의 목적별 안내와 함께 대조하세요. 근거: RFC 9309 · Google robots.txt 해석 문서.

5. Blogger·티스토리·워드프레스 적용 순서

Blogger: 맞춤 robots.txt는 기본 내용에 자동 추가되는 기능이 아닙니다

Blogger 공식 도움말은 맞춤 robots.txt 내용이 기본 내용을 대체한다고 안내합니다. 기존 내용을 지우고 짧은 예시만 입력하지 않도록 주의하세요.

  1. 공개 파일 보관: 현재 사이트의 /robots.txt 내용을 복사해 저장합니다.
  2. 설정 위치 확인: Blogger의 설정에서 ‘크롤러 및 색인 생성’ 영역의 맞춤 robots.txt 항목을 확인합니다.
  3. 변경안 작성: 기존 규칙·사이트맵을 유지하면서 필요한 에이전트 그룹을 추가하거나 수정합니다.
  4. 저장 후 공개 결과 확인: 관리자 입력창의 내용과 실제 공개 파일이 일치하는지 확인합니다.
  5. 본문 접근 확인: 대표 글이 정상적으로 열리고 의도하지 않은 제외가 없는지 점검합니다.

‘맞춤 robots 헤더 태그’와 ‘맞춤 ads.txt’는 별도 설정입니다. 봇 접근 설정을 위해 이 항목들까지 함께 바꾸지 마세요. 근거: Blogger 설정 도움말.

플랫폼 먼저 확인할 사항 완료 판단 기준
Blogger 맞춤 robots.txt와 기존 전체 내용 공개 파일에 변경안이 반영됨
티스토리 현재 제공되는 편집 권한·정책 본문이나 스킨 삽입이 아닌 실제 공개 파일 변경 확인
워드프레스 호스팅·플러그인 등 파일 관리 주체 최종 공개 파일이 의도한 내용과 일치

티스토리·워드프레스는 이 글에서 관리자 화면과 개별 환경을 확인하지 않았습니다. 편집할 수 있다는 가정으로 메뉴를 안내하거나 적용 완료로 처리하지 마세요.

6. 저장 후에도 검색이 안 된다면 확인할 순서

OpenAI는 검색 설정 변경을 시스템에 반영하는 데 약 24시간이 걸릴 수 있다고 안내합니다. 이는 모든 글이 24시간 안에 검색되거나 인용된다는 약속이 아닙니다.

관찰한 상황 점검할 항목
공개 파일에 이전 내용이 보임 저장 대상·공개 주소·캐시 여부
robots.txt 대신 HTML 오류 화면이 나옴 정확한 경로·리디렉션·호스팅 응답
대표 글이 로그인·보안 화면으로 열림 공개 권한·호스팅·CDN·방화벽
특정 글만 제외됨 그 글의 경로와 그룹별 규칙
정상 수집이 확인됐지만 인용되지 않음 수집과 답변 선정 결과를 구분해 관찰

로그를 볼 수 있다면 방문 시각·경로·User-Agent·접속 IP·응답 코드를 함께 기록하세요. OpenAI는 공식 문서에 에이전트별 IP 목록을 제공합니다. 문자열만으로 정상 봇이라고 단정하거나, 임의의 다른 IP 범위까지 일괄 허용하지 마세요.

중요한 구분: 브라우저에서 파일이 열림 → 봇 방문이 확인됨 → 답변에 인용됨 → 독자가 방문함은 서로 다른 관찰입니다. 로그 접근이 없으면 봇 수집 성공을 확인한 것으로 기록하지 않습니다.

7. 공통 AI 학습 선호 신호는 지금 적용할 수 있을까?

OpenAI는 2026년 10월 30일, 여러 참여 제공자에게 학습 선호를 전달하는 robots.txt 공통 신호를 존중하겠다는 계획을 발표했습니다. 발표문은 향후 수개월 내 구현 목표와 구현 시 추가 안내를 설명하며, 기존 크롤러 제어도 계속 유지한다고 밝힙니다.

2026년 11월 3일 판단: 이 발표만으로 구현 완료를 확정할 수 없습니다. 따라서 이 글은 확인되지 않은 새 문법을 적용 코드로 제공하지 않습니다. 공식 구현 안내가 나오면 지원 범위·문법·기존 규칙과의 관계를 다시 확인해야 합니다. 근거: OpenAI 발표 원문.

8. 수집 허용 후에는 본문에서 무엇을 점검할까?

다음은 특정 AI의 순위 기준을 설명하는 표가 아니라, 독자가 내용을 이해하고 원문을 검증하기 쉽도록 만드는 편집 점검안입니다.

  • 첫 문단: 제목의 질문에 바로 답합니다.
  • 정의·조건 분리: 무엇인지, 언제 적용되는지, 예외는 무엇인지 구분합니다.
  • 표의 범위 표시: 특정 서비스의 규칙을 모든 AI에 일반화하지 않습니다.
  • 근거 연결: 주장 옆에 공식 원문과 확인 날짜를 제시합니다.
  • 코드와 설명 일치: 복사할 예시와 실제 적용된 설정을 구분합니다.
  • 실측 표시: 방문·검색 노출·AI 인용을 측정하지 않았다면 성과로 쓰지 않습니다.

검색으로 페이지를 찾는 기능과 선택한 URL의 본문을 가져오는 기능을 구분하고 싶다면 다음 개발자용 가이드를 참고하세요. 이 글의 봇 제어와 API 호출 방법은 서로 다른 작업입니다.

9. 자주 묻는 질문

OAI-SearchBot을 막으면 모든 형태의 링크도 사라지나요?

공식 문서는 검색 답변 제외와 탐색용 링크 표시를 구분합니다. 검색 수집 거부를 인터넷 전체에서 URL을 완전히 삭제하는 기능으로 이해하면 안 됩니다.

GPTBot 차단은 이미 학습된 내용의 삭제 요청인가요?

robots.txt 변경만으로 기존 학습 데이터나 모델에서 내용이 삭제됐다고 판단할 근거는 없습니다. 설정 변경과 삭제·권리 행사 절차를 동일하게 취급하지 마세요.

ChatGPT-User에도 Disallow를 넣으면 접근이 완전히 막히나요?

그렇게 보장할 수 없습니다. 사용자 요청 방문에는 robots.txt가 적용되지 않을 수 있다는 공식 설명을 기준으로 판단해야 합니다. 비공개 콘텐츠에는 실제 접근 권한을 설정하세요.

robots.txt를 바꾸면 Google 검색도 함께 바뀌나요?

공통 그룹이나 Google 관련 그룹을 함께 바꿨는지 확인해야 합니다. OpenAI 봇만 수정하려다가 기존 검색엔진의 규칙을 삭제하지 않도록 변경 전후 내용을 비교하세요.

설정이 정상인데 AI 답변에 안 나오면 실패인가요?

설정 반영과 콘텐츠 선정은 다릅니다. 먼저 공개 파일과 접근 상태를 검수하고, 인용·방문은 별도 결과로 관찰하세요. 한 번의 질문 결과만으로 사이트 전체의 포함 여부를 확정하지 않는 편이 적절합니다.

10. 공식 출처와 확인 범위

사실: 에이전트별 목적과 공식 설정 범위를 대조했습니다.
실무 제안: 기존 파일 보관·그룹별 경로 대조·공개 결과·로그를 순서대로 점검합니다.
미확인: 공통 신호의 구현 완료일, 개별 사이트의 실제 봇 방문·인용·방문자·수익 효과. 이 글에서는 사이트 설정을 변경하지 않았습니다.

이 블로그의 인기 게시물

갤럭시 S26 AI 기능 실제 활용법｜써보면 유용한 기능과 굳이 안 써도 되는 기능

이미지
갤럭시 S26 AI 기능이 궁금하다면 먼저 알아야 할 것은 “기능이 많다”가 아니라 “내 일상에서 시간을 줄여주는 기능이 무엇인가”입니다. 갤럭시 S26 시리즈는 삼성전자가 3세대 AI폰으로 강조한 모델입니다. 단순히 카메라가 좋아지고 성능이 올라간 스마트폰이 아니라, 사용자의 상황을 이해하고 필요한 기능을 더 빠르게 제안하는 방향으로 발전했습니다. 하지만 AI 기능이 많다고 해서 모든 기능을 매일 쓰는 것은 아닙니다. 어떤 기능은 실제로 자주 쓰면 편하지만, 어떤 기능은 처음에만 신기하고 금방 잊히기도 합니다. 그래서 갤럭시 S26을 구매할 때는 “AI 기능이 있다”보다 “내가 어떤 AI 기능을 실제로 쓸 수 있는지”를 기준으로 봐야 합니다. 이번 글에서는 갤럭시 S26 AI 기능, 나우 넛지, Now Brief, 서클 투 서치, 글쓰기 어시스트, 포토 어시스트, 오디오 지우개, AI 기능 추천 대상 까지 실제 사용 관점에서 정리했습니다. 작성 기준: 2026년 5월 기준 삼성전자 뉴스룸과 삼성닷컴 Galaxy AI 공식 정보를 참고했습니다. AI 기능은 지원 언어, 앱, 네트워크 연결, 삼성 계정 로그인, 기기 설정에 따라 사용 가능 여부가 달라질 수 있습니다. 📌 갤럭시 S26 가격 스펙 총정리 목차 갤럭시 S26 AI 기능, 결론부터 보면? 갤럭시 S26 AI 핵심 기능 한눈에 보기 나우 넛지: 필요한 정보를 먼저 제안하는 기능 Now Brief: 하루 일정을 요약해 주는 기능 서클 투 서치: 검색 시간을 줄여주는 기능 글쓰기 어시스트: 문자·메일·블로그 초안에 유용한 기능 포토 어시스트: 사진 편집을 쉽게 하는 기능 오디오 지우개: 영상 소리를 더 깔끔하게 만드는 기능 갤럭시 S26 AI 기능이 필요한 사람과 아닌 사람 결론: 갤럭시 S26 AI 기능은 실제로 쓸 만할까? 자주 묻는 질문 출처 갤럭시 S26 AI 기능, 결론부터 보면? 갤럭시 S26 AI 기능은 스마트...
Read more »

DISM/SFC 명령어 완전 정리 (초보자용) — Windows 손상·업데이트 오류 복구 가이드

이미지
💻 DISM/SFC 명령어 완전 정리 (초보자용) Windows 손상·업데이트 오류 복구 가이드 Windows 업데이트가 실패하거나 재부팅 후 되돌아가나요? 시스템이 느려지거나 파일과 기능이 비정상적으로 동작하나요? 이럴 때 DISM과 SFC는 "윈도우 자체 파일을 점검하고 복구"하는 대표적인 명령어입니다. 핵심은 순서 입니다. Microsoft는 일반적으로 DISM을 먼저 실행해 복구에 필요한 구성 요소(이미지/저장소)를 정리·복구한 뒤, SFC로 실제 시스템 파일을 최종 복구 하라고 안내합니다. 이 글에서는 초보자 기준으로 "언제 무엇을 입력해야 하는지", "성공/실패 시 다음 행동", "가장 많이 묻는 오류 메시지 대응"까지 한 번에 정리해드릴게요. 📑 목차 DISM과 SFC 차이 (딱 2줄로 이해) 실행 전 필수 준비 (실수 방지) 초보자용 "표준 복구 순서" (가장 추천) 가장 흔한 결과 메시지 해석 (초보자용) Windows 업데이트 "구성요소 초기화"까지 해야 할 때 그래도 해결이 안 되면 (공식 복구 옵션) FAQ (초보자가 가장 많이 묻는 질문) 🔍 DISM과 SFC 차이 (딱 2줄로 이해) 많은 분들이 DISM과 SFC를 헷갈려 하시는데, 각각의 역할을 정확히 이해하면 복구 과정이 훨씬 명확해집니다. 🛠️ DISM (Deployment Image Servicing and ...
Read more »

블로그 글이 구글에 안 나오는 이유 7가지: 색인 문제부터 콘텐츠 품질까지

이미지
블로그 글을 발행했는데 구글 검색에 나오지 않으면 가장 먼저 “내 글이 잘못된 건가?”라는 생각이 듭니다. 하지만 블로그 글이 구글에 안 나오는 이유는 하나가 아닙니다. 아직 Google이 글을 발견하지 못했을 수도 있고, 색인 조건을 통과하지 못했을 수도 있으며, robots.txt, noindex, 사이트맵, 내부링크, 콘텐츠 품질 문제가 원인일 수도 있습니다. 중요한 점은 글을 발행했다고 해서 자동으로 구글 검색 결과에 노출되는 것은 아니라는 것 입니다. Google 검색은 일반적으로 크롤링, 색인 생성, 검색 결과 제공 단계를 거치며, 모든 페이지가 반드시 색인되거나 검색 결과에 표시되는 것은 아닙니다. 이 글에서는 블로그스팟 운영자를 기준으로, 블로그 글이 구글에 안 나오는 대표적인 이유 7가지와 확인 순서를 초보자도 따라 할 수 있게 정리합니다. 목차 아직 Google이 글을 발견하지 못한 경우 sitemap.xml을 제출하지 않았거나 오류가 있는 경우 robots.txt 설정으로 크롤링이 막힌 경우 noindex 설정으로 색인이 막힌 경우 내부링크가 부족해 글이 고립된 경우 콘텐츠가 너무 얇거나 검색 의도와 맞지 않는 경우 새 글이라 아직 시간이 필요한 경우 블로그 글이 구글에 안 나올 때 확인 순서 블로그스팟 운영자가 특히 조심해야 할 설정 FAQ 결론 출처 1. 아직 Google이 글을 발견하지 못한 경우 가장 흔한 원인은 단순합니다. Google이 아직 새 글의 존재를 모르는 경우입니다. 새 글을 발행하면 바로 구글 검색 결과에 보일 것 같지만 실제로는 그렇지 않습니다. Googlebot이 해당 URL을 발견하고, 페이지를 가져오고, 색인 가능 여부를 판단하는 과정이 필요합니다. Search Console의 URL 검사 도구에서도 “URL이 Google에 알려지지 않음” 같은 상태...
Read more »