요약:
Google, Microsoft, OpenAI 및 Anthropic은 AI 회사가 robots.txt를 수정하여 모델을 훈련하는 데 콘텐츠를 사용할 수 있는지 여부를 웹사이트에서 표시할 수 있는 새로운 AI 훈련 기본 설정 설명을 지원합니다. 초안에 따르면 웹사이트 관리자는 규칙을 지원하는 여러 AI 회사에 성명을 발표하기 위해 규칙 세트만 추가하면 됩니다.
해당 내용은 다음과 같습니다.
# 사이트 전체 금지 규칙
<리>
사용자
-
에이전트
:
__usage_ai
-
훈련
허용하지 않음
:
/
# 특정 디렉토리 예시 허용
<리>
사용자
-
에이전트
:
__usage_ai
-
훈련
허용
:
/archive/
<리>
사용자
-
에이전트
:
__usage_ai
-
훈련
허용하지 않음
:
/archive/
<리>
# 특정 디렉터리를 허용하는 것은 사이트 전체 금지와 충돌하지 않습니다. 즉, /archive/는 허용되지만 다른 모든 디렉터리는 금지됩니다
웹사이트의 robots.txt 파일에 이 콘텐츠를 추가하여 사이트 전체 콘텐츠가 AI 모델 학습에 사용되는 것이 금지되어 있음을 선언하세요. 웹 사이트 관리자는 허용되거나 허용되지 않는 디렉터리를 수정할 수도 있습니다. 예를 들어, 일부 디렉터리는 AI 훈련에 사용이 허용되고, 일부 콘텐츠는 AI 훈련에 사용이 허용되지 않습니다.
회사마다 지원시간이 다릅니다:
계획은 아직 인터넷 초안이지만 Microsoft는 회사가 2027년 2월 1일부터 성명을 준수할 것이라고 밝혔으므로 콘텐츠가 AI 훈련에 사용되는 것을 원하지 않는 웹사이트는 이제 파일을 수정하여 관련 성명을 추가할 수 있습니다.
Google의 계획은 2027년 초부터 지원을 제공하는 것이지만 아직 구체적인 시기는 정해지지 않았습니다. OpenAI는 앞으로 몇 달 안에 이 계획을 실행할 것이라고 밝혔으며 Anthropic은 초안을 지원하기 시작한 것으로 보입니다.
답변을 생성하기 위한 교육 및 인용 콘텐츠 금지는 다른 목적에 속합니다:
위 설명은 웹사이트의 콘텐츠 사용 선택만을 표현합니다. 초안 지침에 따르면 위 명령문만 설정해도 크롤러가 웹페이지에 액세스하는 것을 직접 차단할 수는 없습니다. 웹사이트에서 특정 크롤러의 콘텐츠 크롤링을 제한하려는 경우에도 기존 robots.txt 규칙을 통해 구성해야 합니다.
교육 콘텐츠와 AI 답변 참고 웹페이지도 목적이 다릅니다. Microsoft는 자체 서비스에 대한 추가 AI 접지 제어 기능을 제공하여 AI 생성 답변이 사용될 때 웹 사이트에서 콘텐츠 참조를 허용할지 여부를 결정할 수 있습니다. 이 컨트롤은 특정 페이지용이며 Microsoft 서비스에만 적용됩니다.
Google은 웹사이트가 위의 문구를 사용하여 AI 훈련을 거부하지만 명시적으로 Google 확장을 설정하지 않은 경우 해당 웹사이트의 Google 확장 규칙 거부에 따라 이를 처리할 계획이라고 밝혔습니다. Google 확장에는 Gemini 모델 교육이 포함되며 일부 Gemini 답변의 웹 참조 사용도 포함됩니다.
댓글