← 아티클 목록

가이드

구글·오픈AI가 함께 따르는 'AI 학습 거부' 설정, 우리 홈페이지도 해야 할까

서버 랙이 양옆으로 늘어선 데이터센터 통로. 웹 서버 관리의 이해를 돕는 예시 사진

홈페이지 글이 AI 학습에 쓰이는 게 꺼려진다면 학습 거부만 따로 설정할 수 있습니다. 이 설정은 검색 결과에 나오는 것과 별개로 움직입니다. 다만 검색용 수집까지 함께 막으면 AI 검색 답변에서 우리 회사 정보가 빠질 수 있어서, 무엇을 막고 무엇을 열어 둘지 먼저 정해야 합니다. 2026년 10월 30일(현지시간) 마이크로소프트, 구글, 오픈AI는 홈페이지의 robots.txt 파일 한 곳에 적는 공통 'AI 학습 거부' 신호를 지원하겠다고 밝혔습니다. 회사마다 따로 막아야 했던 일이 하나로 모이는 셈입니다.

공통 'AI 학습 거부' 신호, 무엇이 달라지나

robots.txt는 홈페이지 맨 위 경로에 두는 작은 텍스트 파일입니다. 검색엔진 같은 수집 프로그램에게 어느 페이지를 가져가도 되는지 알려 줍니다. 지금까지는 AI 학습을 막으려면 회사별 이름을 하나씩 적어야 했습니다. 구글은 Google-Extended, 오픈AI는 GPTBot 같은 식입니다.

이번에 나온 방식은 회사 이름 대신 공통 이름표 하나를 씁니다. 앤트로픽 소속 케빈 켈리가 10월 30일 국제 인터넷 표준화 기구(IETF)에 낸 초안에 따르면 아래처럼 적습니다.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

첫 줄은 'AI 학습 용도'를 가리키고, 둘째 줄은 사이트 전체를 학습에 쓰지 말라는 뜻입니다. 셋째 줄은 보도자료 폴더만 학습을 허용한다는 예외입니다. 초안은 이 이름표를 적지 않은 사이트는 "아무 의사도 밝히지 않은 것"으로 본다고 정했습니다. 모든 수집 프로그램에 적용하는 기존 규칙(User-Agent: *)도 학습 거부로 치지 않습니다.

적용 시점은 회사마다 다릅니다.

  • 마이크로소프트: 2027년 2월 1일부터 이 설정을 반영하고, 3월 1일까지 설정을 마치라고 안내했습니다.
  • 구글: 크롤러 안내 문서에 2027년 초 지원 예정이라고 적었습니다.
  • 오픈AI: 앞으로 몇 달 안에 적용하겠다고 밝혔습니다.

이 초안은 아직 IETF가 승인한 표준이 아닙니다. 지금 파일에 적어 두면 각 회사가 지원을 시작할 때부터 읽게 됩니다.

학습을 막으면 검색에서도 빠질까

많은 분이 걱정하는 부분은 학습을 막으면 검색에서도 사라지지 않느냐는 것입니다. 세 회사의 안내를 보면 둘은 나뉘어 있습니다.

밝은 책상에서 노트북으로 웹사이트를 탐색하는 손과 커피잔

구글은 크롤러 문서에서 Google-Extended가 "구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰이지 않는다"고 밝혔습니다. 공통 신호를 쓰면서 Google-Extended를 따로 적지 않은 사이트는 Google-Extended를 막은 것으로 처리한다고 했습니다. Google-Extended는 제미나이 학습과 함께, 답변을 만들 때 검색 색인의 내용을 가져다 쓰는 일에도 관여합니다. 그러니 막으면 제미나이 답변에서 우리 콘텐츠가 덜 쓰일 수 있다는 점은 알아 두셔야 합니다.

오픈AI는 수집 프로그램을 용도별로 나눴습니다. GPTBot은 학습용이고, OAI-SearchBot은 ChatGPT 검색 결과에 사이트를 보여 주는 용도입니다. 오픈AI 문서는 GPTBot은 막고 OAI-SearchBot은 허용해 검색 결과에는 나오게 하는 예시를 직접 들고 있습니다.

마이크로소프트는 학습과 별도로 '그라운딩' 설정을 새로 냈습니다. AI가 답할 때 실시간으로 페이지를 참고하는 일을 가리킵니다. 그라운딩을 막아도 빙 검색 결과 자격은 그대로지만, 마이크로소프트는 "AI 경험에서 브랜드 노출이 줄어든다"고 안내했습니다.

정리하면, 막는 대상을 학습으로 좁힐수록 검색과 AI 답변 쪽 영향은 작아집니다.

우리 홈페이지 설정, 4단계로 정하기

노트북에서 작업하는 손과 흐릿한 코드 화면. 홈페이지 설정 파일을 고치는 과정을 설명하는 예시 사진
  1. 현재 robots.txt 확인하기. 브라우저 주소창에 '우리 홈페이지 주소/robots.txt'를 입력하면 현재 내용이 보입니다. 파일이 없거나, 예전에 누가 넣었는지 모르는 차단 줄이 있을 수 있습니다. 검색용 수집 프로그램(OAI-SearchBot 등)까지 막혀 있지 않은지 먼저 확인합니다.
  2. 막을 범위 고르기: 학습만, 또는 AI 답변까지. 회사 소개, 서비스 안내, 연락처 같은 페이지는 AI 답변에 정확하게 인용되는 편이 고객이 우리 회사를 찾는 데 도움이 될 수 있습니다. 대부분의 중소기업에는 학습 거부만 걸고 검색은 열어 두는 쪽이 무난합니다.
  3. 페이지별로 나눠 설정하기. 직접 쓴 칼럼, 유료 자료, 내부 사진처럼 학습에 내주기 싫은 콘텐츠가 특정 폴더에 모여 있다면 그 경로만 막을 수 있습니다. 반대로 사이트 전체를 막고 보도자료나 회사 소개만 열어 두는 방식도 됩니다.
  4. 수정 권한 확인하기(빌더·관리 업체). 임대형 홈페이지 빌더는 robots.txt를 직접 고칠 수 없거나 관리 화면에 별도 메뉴가 있는 경우가 많습니다. 관리 업체가 있다면 지금 파일 내용과 수정 가능 여부를 물어보고 답을 글로 받아 둡니다.

이 설정으로 막을 수 없는 것

이 신호는 이용 의사를 밝히는 장치입니다. 지키지 않는 수집 프로그램을 기술적으로 막지는 못합니다. 이미 수집된 데이터를 되돌리는 효과도 없습니다. 마이크로소프트는 이 설정이 "라이선스나 대가 지급 약정을 만드는 것은 아니다"라고 밝혔습니다.

이번 발표 명단에 네이버 같은 국내 검색 서비스는 들어 있지 않았습니다. 국내 검색에서는 기존 방식대로 각 서비스의 안내를 따로 확인해야 합니다. 사용자가 ChatGPT에 링크를 주고 읽어 달라고 하는 경우처럼, 사람의 요청으로 페이지를 여는 일에는 robots.txt가 적용되지 않을 수 있다고 오픈AI 문서는 적고 있습니다.

다음에 할 일

  • 오늘 우리 홈페이지의 robots.txt를 열어 지금 무엇이 막혀 있는지 확인합니다.
  • 학습 거부만 할지, AI 답변 참고까지 막을지 내부에서 정합니다.
  • 내년 2월 마이크로소프트 적용 전에 설정을 반영합니다.
  • 어떤 페이지를 막고 어떤 페이지를 열어 둘지 판단이 어렵다면 무료 진단을 신청해 주세요. 지금 robots.txt와 페이지 구성을 함께 살펴보겠습니다.

AI 직원에게 물어보기

막을 곳과 열어 둘 곳을 물어보세요

질문을 고르거나 우리 홈페이지에서 고민되는 페이지를 적어 보세요.

우리 홈페이지 설정, 어디까지 막을지 고민된다면

홈페이지 주소와 학습에 내주기 싫은 콘텐츠를 알려 주세요. 지금 설정과 페이지 구성을 함께 살펴봅니다.

PROJECT INQUIRY

프로젝트 문의

지금 바꾸고 싶은 일과 막혀 있는 지점을 알려주세요. 상황을 확인한 뒤 적합한 담당자가 직접 답변드리겠습니다.

정상 접수 후 24시간 이내에 답변드리겠습니다.

문의 양식을 불러오는 중…