요약:
중국 AI 기업 다크사이드오브더문(Dark Side of the Moon)의 자회사 키미K3(Kimi K3)가 최근 또다시 모델 증류 논란에 휩싸였다. OpenAI가 발표한 조사에 따르면 해당 모델의 보호된 추론 콘텐츠를 표적으로 삼은 조정된 추출 캠페인이 Dark Side of the Moon과 관련된 개인과 연결되어 있는 것으로 나타났습니다. 관련 활동으로 인해 하루에 약 16,000건의 요청이 생성되었으며 15,000명이 넘는 사용자가 참여했습니다.
OpenAI는 이러한 작업이 암호화 시스템을 뚫거나 데이터베이스에 침입하거나 사용자 기록 대화를 직접 획득하지 않았지만 신중하게 설계된 다단계 모델 상호 작용을 통해 원래 숨겨진 추론 프로세스를 요청자가 볼 수 있는 형태로 재생성하려고 시도했다고 밝혔습니다.
OpenAI는 이번 사건을 '조정된 모델 증류 사건'이라고 불렀습니다. 소위 모델 증류는 더 유능한 교사 모델을 사용하여 많은 양의 출력을 생성한 다음 이 결과를 사용하여 더 작거나 저렴한 학생 모델을 훈련시켜 학생이 교사 모델의 행동 패턴과 능력을 학습할 수 있도록 하는 것을 의미합니다. 증류 자체는 머신러닝 분야에서 흔히 사용되는 기술이지만, 상용 모델 출력을 허가 없이 대규모로 추출해 경쟁 모델을 훈련시키는 데 사용할 경우 서비스 약관을 위반할 수 있고 심지어 지적재산권 분쟁으로 이어질 수도 있습니다.
OpenAI가 발표한 조사 결과에 따르면 관련 활동은 아직 요청 건수가 상대적으로 적었던 2026년 7월 1일에 처음 나타났습니다. 그런 다음 활동이 점차 확대되어 7월 24일과 25일에 최고조에 달했습니다. OpenAI는 이틀 동안만 4,000명 이상의 사용자로부터 특정 추출 패턴을 사용하여 약 16,000개의 요청을 감지했습니다.
OpenAI는 또한 유사한 프롬프트 단어와 작동 모드가 위에서 언급한 4,000명 이상의 사용자 사이에서 나타날 뿐만 아니라 15,000명 이상의 사용자로 구성된 더 큰 사용자 그룹에 분산되어 있다고 밝혔습니다. 회사는 이러한 요청 간의 패턴과 상관 관계를 분석하여 완전히 독립적인 일반 사용자 행동이 아니라 조화로운 특성을 가진 활동에 속한다고 판단합니다.
한 가지 주요 작업이 특히 흥미롭습니다. OpenAI는 관계자가 먼저 하나의 대화에서 모델이 반환한 암호화된 추론 내용을 복사한 후, 별도의 대화에서 숨겨진 내용을 복호화하고 전사하도록 모델에 요청했다고 밝혔습니다. 즉, 추론 과정을 보호하기 위해 OpenAI가 사용하는 암호화 메커니즘을 직접 해독하지 않고 모델 자체 기능을 사용하여 모델이 보호된 다른 콘텐츠를 처리하도록 하여 간접적으로 정보를 복구하려고 했습니다.
OpenAI는 이 활동이 성공적으로 '암호화를 해제'하지 못했고 OpenAI의 데이터베이스를 뚫지도 않았으며 서버에 저장된 사용자 채팅 기록을 얻지도 못했다고 강조했습니다. 그 성공은 주로 사용자에게 직접 표시되지 않는 보호된 추론 정보가 다른 형식으로 다시 나타나도록 모델 간의 상호 작용을 조작하는 데 있습니다.
OpenAI는 마침내 7월 28일경 이러한 유형의 활동을 완전히 차단했습니다. 회사는 조사 과정에서 핵심 활동 클러스터 중 하나가 Dark Side of the Moon과 관련된 사람들과 연결되어 있음을 발견했다고 밝혔습니다. OpenAI는 공개 성명에서 핵심 클러스터를 "Kimi 개발자 Dark Side of the Moon과 관련된 개인"에 귀속시킬 수 있다고 밝혔습니다.
다크 사이드 오브 더 문(Dark Side of the Moon)은 최근 몇 년 동안 Kimi 시리즈 모델이 급속도로 발전한 중국 AI 회사입니다. 2026년 7월, 이 회사는 약 2조 8천억 개의 매개변수를 갖춘 개방형 가중치 모델인 Kimi K3를 출시하고 이를 코드 프로그래밍, 복잡한 추론 및 AI 에이전트 작업을 위한 차세대 모델로 자리매김했습니다. Kimi K3는 출시 후 빠르게 글로벌 AI 개발자들의 관심을 끌었으며, 일부 타사 테스트에서 성능이 미국 최고의 비공개 소스 모델에 가까웠습니다.
이 OpenAI 조사는 또한 Kimi 모델의 출처에 대해 미국 정부가 제기한 이전 의혹에 대한 관심을 불러일으켰습니다. 백악관 과학기술정책실 국장이자 최고 과학기술 고문인 마이클 크라치오스(Michael Kratzios)는 올해 7월 말 미국 정부가 관련 정보를 갖고 있으며 다크 사이드 오브 더 문(Dark Side of the Moon)이 키미 K3를 증류하기 위해 앤트로픽의 모델을 사용했다고 믿고 있다고 말했다. 다크 사이드 오브 더 문(Dark Side of the Moon)은 이러한 비난을 인정하지 않았습니다.
정부 발표 외에도 최근 다른 연구자들이 Kimi K3 모델의 훈련 소스를 분석했습니다. Claude Opus 4.8의 해독된 추론 콘텐츠 중 일부를 Kimi K3에 입력하는 것만으로도 Kimi K3의 후속 사고 과정과 최종 답변이 크게 바뀌어 Claude에 더 가까운 표현으로 보일 수 있다는 연구 결과가 나왔습니다. 이를 토대로 연구진은 Kimi K3에서 특정 Claude 및 GPT 추론 콘텐츠를 추출하는 난이도가 다른 모델에 비해 현저히 낮다고 믿고 있습니다.
그러나 이러한 연구만으로는 키미 K3 전체가 승인되지 않은 수단을 통해 다른 모델에서 추출되었다는 사실을 입증할 수 없습니다. 유사한 응답 방법, 추론 구조 및 지식 표현은 공개 데이터, 유사한 교육 목표, 강화 학습 방법 및 모델 아키텍처와 같은 다양한 요소에서 비롯될 수도 있는 대규모 언어 모델에도 나타납니다. 따라서 모델 간의 부분적인 행동 유사성이 존재한다고 해서 훈련 데이터 소스의 불규칙성이 입증된 것은 아닙니다.
Kimi K3 자체에도 Dark Side of the Moon이 개발한 기술이 포함되어 있습니다. 이 모델은 Kimi Delta Attention과 같은 아키텍처를 사용하여 설계되었으며 대규모 추론 작업에 최적화되어 있습니다. Dark Side of the Moon은 KV 캐시를 줄이고 각 토큰의 메모리 공간을 최적화하여 추론 비용도 줄입니다. 이러한 기술을 통해 Kimi K3는 대규모 데이터 센터 하드웨어에서 실행될 수 있습니다.
이번 논란의 특이한 점은 OpenAI 자체가 주장하는 행위가 단순히 모델 답변을 복사하는 것이 아니라, 모델이 평소 직접적으로 보여주지 않는 '보호된 추론'을 적극적으로 얻으려는 시도라는 점입니다. 점점 더 많은 AI 회사가 숨겨진 추론 또는 암호화된 추론 메커니즘을 채택함에 따라 이러한 유형의 정보는 모델 기능 보호의 중요한 부분이 되었습니다. 경쟁 모델이 대규모 자동 요청을 통해 콘텐츠를 복원할 수 있다면 모델 공급업체가 훈련 결과와 추론 기능을 보호하기 위해 사용하는 메커니즘은 새로운 과제에 직면할 수 있습니다.
OpenAI는 최근 몇 년 동안 유사한 모델 증류 동작에 대해 여러 차례 조치를 취했습니다. 회사는 비즈니스 모델을 호출하고, 그 결과를 수집하고, 이를 사용하여 경쟁 모델을 교육하는 대규모 자동화를 통해 대량의 컴퓨팅 리소스를 보유한 당사자가 장기적인 연구 및 개발을 통해 다른 모델이 개발한 기능을 저렴한 비용으로 복제할 수 있다고 믿습니다.
동시에 이번 사건은 중국과 미국 간 인공지능 경쟁에서 AI 모델 추출이 민감한 이슈가 되고 있음을 보여주기도 한다. 미국 정부는 중국 AI 기업이 미국 기업의 모델 결과물을 활용해 자체 모델 개발을 가속화할 수 있다고 거듭 경고한 반면, 중국 기업은 독립적인 연구개발 역량과 개방형 모델의 중요성을 계속 강조하고 있다. 현재 공개된 정보와 관련하여 OpenAI는 대규모 추출 활동의 발견을 확인했으며 핵심 활동 클러스터가 Dark Side of the Moon과 관련된 사람들과 관련이 있다고 밝혔습니다. 그러나 이러한 귀속과 관련 활동이 궁극적으로 Kimi K3를 훈련하는 데 사용되는지 여부를 입증하려면 여전히 더 많은 공개 증거가 필요합니다.
자세히 알아보기:
https://openai.com/index/disrupting-a-coordinated-model-distillation-campaign/
댓글