미국에서 열린 OpenAI에 대한 연방 소송에서 Elon Musk는 자신이 설립한 인공 지능 회사 xAI가 OpenAI의 모델을 사용하여 소위 "증류" 기술을 통해 챗봇 Grok을 훈련시켰다는 증언을 통해 업계의 이러한 암묵적인 관행을 다시 한 번 주목을 받았습니다.
최근 OpenAI와 Anthropic은 업계에서 "증류"라고 알려진 프로세스인 공개적으로 액세스할 수 있는 챗봇과 API에 대한 집중적인 질문을 통해 새로운 모델의 동작을 교육하는 제3자를 비난해 왔습니다. 지난 몇 달 동안 여론의 초점은 일부 중국 기업에 집중되었습니다. 그들은 증류를 통해 오픈 소스 가중치 모델을 만들었다는 비난을 받았습니다. 이들 모델의 성능은 미국 최첨단 제품에 가깝지만 더 저렴한 비용으로 외부 세계에 제공할 수 있다. 그러나 기술계 내에서 많은 실무자들은 미국의 최첨단 실험실도 경쟁에서 뒤처지지 않기 위해 유사한 방법을 사용할 것이라고 오랫동안 믿어 왔습니다.
이 추측은 이제 적어도 하나의 사례에서 확인되었습니다. 목요일 캘리포니아 연방 법원에서 열린 증언에서 xAI가 OpenAI 모델을 기반으로 Grok을 훈련시키기 위해 증류 기술을 사용했는지 묻는 질문에 머스크는 이것이 "AI 회사들 사이에서 일반적인 관행"이라고 말했습니다. 상대방이 이것이 '그렇다'로 이해될 수 있느냐고 묻자 그는 '부분적으로 그렇다'고 답했다.
머스크는 현재 OpenAI와 회사의 CEO인 Sam Altman, 공동 창업자인 Greg Brockman을 고소하고 있으며 OpenAI를 비영리에서 영리 구조로 전환함으로써 원래의 비영리 사명을 위반했다고 주장합니다. 재판은 이번 주에 시작되며 머스크의 증언이 중심 드라마 중 하나가 됩니다.
머스크의 인정은 증류 기술이 대규모 AI 기업의 핵심 이점에 대한 위협으로 간주되기 때문에 중요합니다. 이러한 기업은 규모의 장벽을 극복하기 위해 컴퓨팅 인프라를 구축하는 데 막대한 돈을 투자하는 반면, 증류를 통해 다른 소프트웨어 개발자는 원래 비용보다 훨씬 낮은 비용으로 기능 면에서 "멀지 않은" 모델을 훈련할 수 있습니다. 이러한 배경에서 업계에서는 아이러니가 부족하지 않습니다. 충분한 교육 데이터를 얻기 위해 Frontier Labs 자체는 저작권의 경계를 반복적으로 테스트했으며 "선을 넘었다"는 비난까지 받았지만 이제는 다른 사람들이 자신의 모델을 "학습"하기 위해 규정 준수 인터페이스를 사용하는 것을 거부해야 합니다.
연대표로 판단하면, xAI는 OpenAI보다 몇 년 늦은 2023년에 설립되었기 때문에 당시 업계 리더로부터 '배우려고' 노력한 것은 놀라운 일이 아닙니다. 증류가 명백한 법률 위반인지 여부는 불분명합니다. 보다 현실적인 제약은 제품 사용에 대해 각 회사가 정한 서비스 약관에서 나올 수 있습니다. 증류는 종종 이러한 약관을 위반하는 것으로 간주되며 반드시 법령 자체에 영향을 미치는 것은 아닙니다.
중국의 모델 '표절' 우려에 직면한 OpenAI, Anthropic, Google은 '프론티어 모델 포럼'을 통해 정보를 공유하고 증류 시도에 공동 대응하기 위해 공동 조치를 취했습니다. 보고서에 따르면 이러한 대규모 모델의 추출은 모델의 "내부 행동 패턴"을 추론하기 위해 체계적이고 대규모의 자동화된 질문에 의존하는 경우가 많습니다. 이러한 행위를 억제하기 위해 Frontier Labs는 모델이 "본질을 고갈"시키는 것을 방지하기 위해 의심스러운 배치 및 비정상적인 요청을 식별하고 차단하려고 노력하고 있습니다. 보도 당시 OpenAI는 머스크의 증언에 대한 논평 요청에 응답하지 않았습니다.
재판 후반에 머스크는 지난 여름 xAI가 곧 기능 측면에서 Google을 제외한 모든 회사를 능가할 것이라는 중요한 발언에 대해 질문을 받았습니다. 그는 법정에서 세계 주요 AI 제공업체의 주관적 순위를 실시했는데 현재 Anthropic이 1위이고 OpenAI와 Google이 그 뒤를 따르고 있으며 중국의 오픈소스 모델이 2위를 차지하고 있다고 밝혔습니다. 이에 비해 그는 xAI를 현재 직원 수가 수백 명에 불과한 훨씬 작은 회사라고 설명했습니다.