요약:
OpenAI는 AI 생성 콘텐츠의 가독성에 대한 EU 인공지능법의 요구 사항을 충족하기 위해 유럽 연합의 ChatGPT 및 Codex에서 생성된 텍스트에 보이지 않는 워터마크를 점진적으로 추가하고 있습니다. OpenAI는 textGrain이라고 불리는 이 텍스트 워터마킹 기술은 기사에 숨겨진 문자나 보이지 않는 공백, 특수 구두점을 추가하지 않는다고 밝혔습니다. 대신, 모델이 텍스트를 생성할 때 단어 선택 방법을 조정하여 전체 텍스트에 인간의 눈으로는 직접 감지할 수 없지만 기계로는 인식할 수 있는 통계적 특징을 형성합니다.
OpenAI가 발표한 정보에 따르면 유럽 연합 인공 지능법의 관련 투명성 요구 사항은 2026년 8월 2일부터 발효됩니다. 생성 AI 서비스 제공업체는 기계 인식 마크가 있는 AI 생성 콘텐츠를 보유해야 합니다. 따라서 OpenAI는 앞으로 몇 주 안에 EU의 적격 ChatGPT 및 Codex 사용자에게 텍스트 워터마크를 점진적으로 출시할 계획이며, 이 배포에는 유료 사용자뿐만 아니라 모든 ChatGPT 패키지가 포함됩니다.
이런 종류의 워터마크는 전통적인 의미의 '숨겨진 텍스트'와는 다릅니다. 사용자가 ChatGPT에서 생성된 콘텐츠를 복사할 때 숨겨진 문자가 동시에 복사되지 않으며 텍스트에서 특수 기호가 발견되지 않습니다. textGrain이 실제로 변경하는 것은 가능한 여러 단어에 직면했을 때 모델의 무작위 선택 확률입니다. 단일 단어의 변화는 완전히 감지할 수 없을 수도 있지만, 많은 수의 단어가 결합되면 감지 시스템이 인식할 수 있는 통계적 패턴이 형성될 수 있습니다.
OpenAI는 이 디자인의 장점은 일반 텍스트 출력을 크게 변경하지 않는다는 점이라고 밝혔습니다. 회사의 테스트 결과 워터마크를 추가한 경우와 워터마크를 추가하지 않은 경우의 모델 성능 차이는 일반적인 테스트 변동 범위 내에 있었고 텍스트 생성 속도에 미치는 영향도 매우 작은 것으로 나타났습니다. OpenAI의 이전 ChatGPT 내부 테스트에서는 워터마크 기능으로 인해 부정적인 사용자 리뷰가 증가한 것을 발견하지 못했습니다.
그러나 OpenAI는 텍스트 워터마킹이 AI 콘텐츠를 식별하는 100% 신뢰할 수 있는 방법이 아니라는 점도 인정했습니다. 워터마크 감지에는 두 가지 오류가 발생할 수 있습니다. 하나는 워터마크가 없는 텍스트를 워터마크가 있는 것으로 오인하는 경우이고, 다른 하나는 실제로 워터마크가 있는 텍스트인데 탐지 시스템에서 이를 인식하지 못하는 경우입니다.
텍스트 길이도 감지 결과에 영향을 미치는 중요한 요소입니다. 텍스트가 짧을수록 모델이 단어 선택을 조정할 여지가 적어 안정적인 통계 신호를 형성하기가 더 어려워집니다. OpenAI가 발표한 규칙도 EU AI 투명성 사양에 따라 200개 미만의 토큰, 약 150개의 영어 단어 및 코드 조각의 출력은 텍스트 워터마크를 추가할 필요가 없음을 보여줍니다.
언어별로 감지 결과에도 차이가 있습니다. OpenAI는 유럽 연합의 24개 공식 언어를 모두 테스트했습니다. 오탐률 1%를 유지한 가운데 스페인어의 탐지율은 최대 69%에 달했고, 루마니아어의 탐지율은 42.2%에 그쳤다. 감지 효과가 약한 언어의 경우 OpenAI는 워터마크 강도를 높여 감지 기능을 향상시킬 수 있습니다.
이는 textGrain이 워터마크를 보면 ChatGPT에 의해 생성되었음을 100% 증명할 수 있는 기술로 이해될 수 없다는 의미입니다. OpenAI는 원본 텍스트가 수정되지 않았더라도 특히 텍스트가 짧거나 선택 가능한 단어의 범위가 작은 경우 감지 시스템이 워터마크를 감지할 수 있다는 보장이 없음을 분명히 합니다.
동시에 현재 시중에 나와 있는 텍스트 워터마크와 AI 텍스트 감지기 사이에는 분명한 차이점이 있습니다. Pangram과 같은 타사 AI 탐지 도구는 주로 분류자를 사용하여 단어 선택, 문장 구조 및 기타 언어 기능을 분석하여 텍스트가 AI에 의해 생성될 가능성이 있는지 여부를 결정합니다. 이 방법은 텍스트가 생성된 후 텍스트를 분석하는 반면, textGrain은 텍스트 생성 프로세스 중에 기계가 읽을 수 있는 통계 신호를 직접 남깁니다.
OpenAI는 이 접근 방식이 '내장형' 식별 가능한 신호에 대한 EU AI법의 요구 사항에 더 부합한다고 믿습니다.
OpenAI는 Google DeepMind의 SynthID나 기타 기존 텍스트 워터마킹 솔루션을 직접 채택하지 않고 자체적으로 textGrain을 개발했습니다. 회사는 자체 개발한 기술을 통해 워터마크 감지 가능성과 모델 출력의 다양성 사이의 균형을 보다 유연하게 조정할 수 있다고 밝혔습니다. 내부 테스트에서 textGrain은 텍스트용 SynthID를 포함하여 회사가 테스트한 다른 솔루션과 동일하거나 더 높은 속도로 워터마크가 있는 텍스트를 인식했습니다.
OpenAI는 또한 다른 연구 기관과 회사가 이 기술을 사용하여 AI 텍스트 소스 인식을 추가로 연구하고 개선할 수 있기를 바라며 textGrain 기술을 오픈할 계획입니다. 하지만 OpenAI는 텍스트 워터마크 탐지기를 즉시 대중에게 공개하지는 않을 것이며, 먼저 승인된 연구자 및 전문 기관에 적용 채널을 제공할 것입니다.
이러한 승인된 연구원 및 기관은 OpenAI의 감지 도구를 사용하여 텍스트에 OpenAI에서 생성한 워터마크가 포함되어 있는지 확인할 수 있지만 감지 결과는 생성된 콘텐츠에 해당하는 사용자 신원, 프롬프트 단어 또는 채팅 기록을 공개하지 않습니다. OpenAI는 현재 기술에는 여전히 위양성 및 위음성 위험이 있으므로 모든 사람에게 감지 도구를 직접 공개하면 워터마크 감지 결과를 과도하게 해석할 수 있다고 믿습니다.
OpenAI가 이번에는 기본적으로 텍스트 워터마크를 전역적으로 활성화할 계획이 없다는 점은 주목할 가치가 있습니다. 회사는 ChatGPT와 Codex의 텍스트 워터마크가 이 단계에서 EU 지역에 대해서만 점진적으로 출시될 것이라고 밝혔습니다. 이번 지역 배포를 통해 OpenAI는 실제 사용 환경에서 성능을 관찰하고 실제 피드백을 기반으로 기술을 조정할 수 있습니다.
API 개발자의 경우 상황이 다릅니다. OpenAI는 글로벌 API 고객이 일부 모델에 대해 텍스트 워터마크 기능을 적극적으로 켤 수 있도록 허용하기 시작했지만 여전히 기본적으로 꺼져 있습니다. 이는 기업이 자체 투명성 요구 사항에 따라 API를 통해 생성된 텍스트에 워터마크를 표시할지 여부를 결정할 수 있음을 의미합니다.
OpenAI는 또한 클라우드 서비스 파트너와 협력하여 앞으로 몇 주 내에 이러한 클라우드 플랫폼을 통해 OpenAI 모델을 호출하여 생성된 적격 콘텐츠도 해당 소스 신호를 받을 수 있기를 바랍니다.
그러나 텍스트 워터마크는 다른 AI 콘텐츠 식별 방법을 대체하지 않습니다. OpenAI는 기계 판독 가능 워터마크 및 C2PA와 같은 소스 정보가 법률이나 플랫폼에서 요구하는 눈에 보이는 AI 라벨 및 프롬프트 배너와 같은 공개 성명을 대체할 수 없음을 강조합니다. 그들은 다양한 수준에서 콘텐츠 소스 문제를 해결합니다.
일반 사용자의 경우 이 변경 사항에서 가장 주목할만한 점은 EU에 거주하고 ChatGPT를 사용하여 긴 텍스트를 생성하는 경우 워터마크 시스템이 공식적으로 계정을 포함하는 시점부터 생성된 콘텐츠에 육안으로 볼 수 없는 소스 신호가 이미 포함되어 있을 수 있다는 것입니다. 원본 텍스트를 직접 복사해도 일반적으로 이 신호가 파괴되지는 않지만 텍스트가 크게 다시 작성되거나 수정되거나 번역된 경우 워터마크의 감지 가능성이 크게 줄어들 수 있습니다.
OpenAI도 이러한 제한 사항을 명시적으로 인정합니다. textGrain의 신호는 텍스트 파일에 독립적으로 첨부된 보이지 않는 문자가 아닌 모델의 단어 선택에 존재합니다. 따라서 텍스트를 충분히 다시 작성하면 원래의 통계 패턴이 파괴될 수 있습니다. OpenAI가 현재는 텍스트 워터마크가 소스 판단 신호로 더 적합하며 절대적으로 신뢰할 수 있는 'AI 식별 인증서'로 볼 수는 없다고 강조하는 이유입니다.
일반적으로 OpenAI는 AI법에 따른 새로운 규제 요건에 적응하기 위해 이번에 EU에서 textGrain을 출시했습니다. 이는 또한 AI 생성 텍스트의 소스 식별이 전통적인 "선언적 태그"에서 기계 인식 신호로 진화하고 있음을 나타냅니다. 사용자가 보는 텍스트는 변경되지 않으며 텍스트를 복사할 때 신비한 문자가 나타나지도 않습니다. 하지만 감지 권한이 있는 시스템은 콘텐츠가 OpenAI 모델에서 나온 것인지 여부를 판단할 수 있습니다.
그러나 텍스트 워터마크는 여전히 언어 차이, 텍스트 길이 제한, 재작성 후 신호 약화 등의 문제가 있기 때문에 현재로서는 기사가 'AI가 작성'했는지 여부를 판단하기 위해 단독으로 사용되기보다는 AI 콘텐츠 추적 시스템의 보조 증거로 더 적합합니다.
댓글