홈페이지 글이 AI 학습에 쓰이는 게 꺼려진다면 학습 거부만 따로 설정할 수 있습니다. 이 설정은 검색 결과에 나오는 것과 별개로 움직입니다. 다만 검색용 수집까지 함께 막으면 AI 검색 답변에서 우리 회사 정보가 빠질 수 있어서, 무엇을 막고 무엇을 열어 둘지 먼저 정해야 합니다. 2026년 10월 30일(현지시간) 마이크로소프트, 구글, 오픈AI는 홈페이지의 robots.txt 파일 한 곳에 적는 공통 'AI 학습 거부' 신호를 지원하겠다고 밝혔습니다. 회사마다 따로 막아야 했던 일이 하나로 모이는 셈입니다.
공통 'AI 학습 거부' 신호, 무엇이 달라지나
robots.txt는 홈페이지 맨 위 경로에 두는 작은 텍스트 파일입니다. 검색엔진 같은 수집 프로그램에게 어느 페이지를 가져가도 되는지 알려 줍니다. 지금까지는 AI 학습을 막으려면 회사별 이름을 하나씩 적어야 했습니다. 구글은 Google-Extended, 오픈AI는 GPTBot 같은 식입니다.
이번에 나온 방식은 회사 이름 대신 공통 이름표 하나를 씁니다. 앤트로픽 소속 케빈 켈리가 10월 30일 국제 인터넷 표준화 기구(IETF)에 낸 초안에 따르면 아래처럼 적습니다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/첫 줄은 'AI 학습 용도'를 가리키고, 둘째 줄은 사이트 전체를 학습에 쓰지 말라는 뜻입니다. 셋째 줄은 보도자료 폴더만 학습을 허용한다는 예외입니다. 초안은 이 이름표를 적지 않은 사이트는 "아무 의사도 밝히지 않은 것"으로 본다고 정했습니다. 모든 수집 프로그램에 적용하는 기존 규칙(User-Agent: *)도 학습 거부로 치지 않습니다.
적용 시점은 회사마다 다릅니다.
- 마이크로소프트: 2027년 2월 1일부터 이 설정을 반영하고, 3월 1일까지 설정을 마치라고 안내했습니다.
- 구글: 크롤러 안내 문서에 2027년 초 지원 예정이라고 적었습니다.
- 오픈AI: 앞으로 몇 달 안에 적용하겠다고 밝혔습니다.
이 초안은 아직 IETF가 승인한 표준이 아닙니다. 지금 파일에 적어 두면 각 회사가 지원을 시작할 때부터 읽게 됩니다.
학습을 막으면 검색에서도 빠질까
많은 분이 걱정하는 부분은 학습을 막으면 검색에서도 사라지지 않느냐는 것입니다. 세 회사의 안내를 보면 둘은 나뉘어 있습니다.

구글은 크롤러 문서에서 Google-Extended가 "구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다"고 밝혔습니다. 공통 신호를 쓰면서 Google-Extended를 따로 적지 않은 사이트는 Google-Extended를 막은 것으로 처리한다고 했습니다. Google-Extended는 제미나이 학습과 함께, 답변을 만들 때 검색 색인의 내용을 가져다 쓰는 일에도 관여합니다. 그러니 막으면 제미나이 답변에서 우리 콘텐츠가 덜 쓰일 수 있다는 점은 알아 두셔야 합니다.
오픈AI는 수집 프로그램을 용도별로 나눴습니다. GPTBot은 학습용이고, OAI-SearchBot은 ChatGPT 검색 결과에 사이트를 보여 주는 용도입니다. 오픈AI 문서는 GPTBot은 막고 OAI-SearchBot은 허용해 검색 결과에는 나오게 하는 예시를 직접 들고 있습니다.
마이크로소프트는 학습과 별도로 '그라운딩' 설정을 새로 냈습니다. AI가 답할 때 실시간으로 페이지를 참고하는 일을 가리킵니다. 그라운딩을 막아도 빙 검색 결과 자격은 그대로지만, 마이크로소프트는 "AI 경험에서 브랜드 노출이 줄어든다"고 안내했습니다.
정리하면, 막는 대상을 학습으로 좁힐수록 검색과 AI 답변 쪽 영향은 작아집니다.
우리 홈페이지 설정, 4단계로 정하기

- 현재 robots.txt 확인하기. 브라우저 주소창에 '우리 홈페이지 주소/robots.txt'를 입력하면 현재 내용이 보입니다. 파일이 없거나, 예전에 누가 넣었는지 모르는 차단 줄이 있을 수 있습니다. 검색용 수집 프로그램(OAI-SearchBot 등)까지 막혀 있지 않은지 먼저 확인합니다.
- 막을 범위 고르기: 학습만, 또는 AI 답변까지. 회사 소개, 서비스 안내, 연락처 같은 페이지는 AI 답변에 정확하게 인용되는 편이 고객이 우리 회사를 찾는 데 도움이 될 수 있습니다. 대부분의 중소기업에는 학습 거부만 걸고 검색은 열어 두는 쪽이 무난합니다.
- 페이지별로 나눠 설정하기. 직접 쓴 칼럼, 유료 자료, 내부 사진처럼 학습에 내주기 싫은 콘텐츠가 특정 폴더에 모여 있다면 그 경로만 막을 수 있습니다. 반대로 사이트 전체를 막고 보도자료나 회사 소개만 열어 두는 방식도 됩니다.
- 수정 권한 확인하기(빌더·관리 업체). 임대형 홈페이지 빌더는 robots.txt를 직접 고칠 수 없거나 관리 화면에 별도 메뉴가 있는 경우가 많습니다. 관리 업체가 있다면 지금 파일 내용과 수정 가능 여부를 물어보고 답을 글로 받아 둡니다.
이 설정으로 막을 수 없는 것
이 신호는 이용 의사를 밝히는 장치입니다. 지키지 않는 수집 프로그램을 기술적으로 막지는 못합니다. 이미 수집된 데이터를 되돌리는 효과도 없습니다. 마이크로소프트는 이 설정이 "라이선스나 대가 지급 약정을 만드는 것은 아니다"라고 밝혔습니다.
이번 발표 명단에 네이버 같은 국내 검색 서비스는 들어 있지 않았습니다. 국내 검색에서는 기존 방식대로 각 서비스의 안내를 따로 확인해야 합니다. 사용자가 ChatGPT에 링크를 주고 읽어 달라고 하는 경우처럼, 사람의 요청으로 페이지를 여는 일에는 robots.txt가 적용되지 않을 수 있다고 오픈AI 문서는 적고 있습니다.
다음에 할 일
- 오늘 우리 홈페이지의 robots.txt를 열어 지금 무엇이 막혀 있는지 확인합니다.
- 학습 거부만 할지, AI 답변 참고까지 막을지 내부에서 정합니다.
- 내년 2월 마이크로소프트 적용 전에 설정을 반영합니다.
- 어떤 페이지를 막고 어떤 페이지를 열어 둘지 판단이 어렵다면 무료 진단을 신청해 주세요. 지금 robots.txt와 페이지 구성을 함께 살펴보겠습니다.
