실리콘 밸리에서 워싱턴에 이르기까지 기술계는 갑자기 AI의 개념인 증류에 집착합니다.

올해 초 Google AI 수석 Jeff Dean은 당시 기술계 외부에서는 거의 누구도 이야기하지 않았던 개념인 증류에 대해 논의하기 위해 팟캐스트에 나갔습니다. Google의 AI 모델 개발에 대해 논의하면서 Dean은 Google이 단일 대형 이미지 인식 모델에 의존하지 않고 시스템 성능을 향상시키기를 원했기 때문에 그와 그의 동료들이 AI 증류 기술을 발견했다고 말했습니다.

Dean은 지난 2월 "더 작은 모델의 성능을 높이는 핵심 기술인 증류를 사용하면 이를 더 작은 모델로 증류하기 전에 최첨단 모델을 보유해야 합니다."라고 말했습니다.

5개월 후, 증류는 갑자기 실리콘 밸리에서 워싱턴에 이르기까지 뜨거운 주제가 되었습니다. 워싱턴에서는 기술 내부자들과 국회의원들이 이 관행이 국가 안보 위협으로 변하고 있는지에 대해 논쟁을 벌이고 있습니다.

높은 수준에서 증류란 챗봇의 답변이나 고급 AI 모델의 출력을 사용하여 다른 모델을 교육하는 것을 의미합니다. 이 접근법은 사용 방법에 따라 모델 개발자가 최첨단 교육 기술 개발에 수백만 달러 또는 수십억 달러를 투자한 회사의 결과물을 사용하여 경쟁력 있는 제품을 만들 수 있기 때문에 논란의 여지가 있습니다.

AI 보안업체 시큐리티팔(SecurityPal) 창업자인 푸카르 함마르(Pukhar Hammar)는 “누군가가 강의를 듣고, 교과서를 읽고, 어려운 숙제를 다 한 것과 거의 같다”고 말했다. "그러자 다른 학생이 '야, 내가 그런 건 안 했는데 그냥 복사해도 돼?'라고 하더군요."

Kratsios의 게시물 때문이든 아니든, 세계 최대 기술 대기업 중 일부가 금요일에 전례 없는 움직임에 동참하여 명확한 입장을 밝혔습니다. 일주일 동안 일련의 소셜 미디어 게시물을 올린 후, 거대 기술 기업인 Nvidia, Microsoft, Meta 및 Palantir는 20개 이상의 다른 회사와 함께 정책 입안자들에게 "경쟁을 억제하거나 해외 혁신을 추진"할 수 있는 개방형 AI 모델에 대한 "성급한 제한"을 부과하는 것을 피할 것을 촉구하는 공동 서한을 발행했습니다.

그들은 "한 모델의 출력을 사용하여 다른 모델을 훈련하거나 개선하는 데 도움을 주는 증류법은 모델 개선, 진화 및 검증을 위해 널리 사용되는 기술입니다"라고 썼습니다.

증류의 출현은 미국 정책입안자들에게 문제를 제기합니다.

Box CEO Aaron Levy는 금요일 서한의 서명자 중 한 명이었습니다. Levy는 인터뷰에서 경쟁력을 유지하려면 미국 기업이 개발 위치에 관계없이 최고의 기술에 접근할 수 있어야 한다고 말했습니다.

“일반적인 추세는 미국이든 다른 곳이든 혁신이 많을수록 더 많은 AI 발전을 기대해야 하며 일반적으로 시간이 지남에 따라 비용이 낮아지고 효율성이 높아지는 것입니다.”라고 Levy는 말했습니다.

Info-Tech Research Group의 연구 이사인 Shashi Bellamkunda는 현재 논의의 대부분이 개방형 AI 모델에 초점을 맞추고 있지만 많은 회사가 자체 모델을 만들 때 증류 기술을 통합하고 있다고 말했습니다. 예를 들어 Nvidia는 Llama Nemotron 시리즈 모델의 훈련 과정에서 증류를 사용하는데, 이는 관련 연구 논문에 자세히 설명되어 있습니다.

Bellamkunda는 "이것은 더 큰 모델의 출력을 기반으로 더 작고 저렴한 모델을 훈련하기 위한 합법적이고 매우 가치 있는 기술이며 계속해서 널리 사용되고 있습니다."라고 말했습니다.

그러나 Anthropic은 자사 모델이 어떻게 사용되고 있는지 확인하고 보호해야 할 사업이 호황을 누리고 있다는 점에서 다른 관점을 취합니다.

Anthropic의 가치는 거의 1조 달러에 달하며 가까운 시일 내에 상장할 계획입니다. 회사 측은 불법 증류를 막는 것은 국가 안보의 문제라고 말한다.

회사는 2월 게시물에서 "안트로픽과 기타 미국 기업들은 국가 및 비국가 행위자가 생물학적 무기를 개발하거나 악의적인 사이버 활동을 수행하는 등 AI를 이용하는 것을 방지하기 위한 시스템을 구축하고 있다"고 밝혔습니다. 그리고 이를 중단하려면 "업계 관계자, 정책 입안자 및 글로벌 AI 커뮤니티 간의 신속하고 조율된 조치"가 필요합니다.

OpenAI와 Anthropic은 서비스 약관에서 증류를 금지합니다. Bellamkunda는 대형 모델의 무단 사용이 잠재적인 지적 재산 도난을 의미한다고 본질적으로 암시하고 있다고 말했습니다.

그러나 AI 비용이 급등함에 따라 기업은 효율성을 높이기 위해 최선을 다할 것입니다.

Hammar는 AI를 사용하여 보안 평가를 자동화하는 회사인 SecurityPal에서 개방형 가중치 모델을 사용하는 데 반대하지 않는다고 말했습니다. 그는 그것이 그들에게 많은 돈을 절약할 수 있다고 말했다.

Hammar는 "우리는 코드에 악의적인 백도어가 없는지 확인합니다."라고 말했습니다. "하지만 평가를 마친 후에는 자체 인프라에서 호스팅하는 것이 어떨까요?"

Anthropic과 OpenAI가 지적 재산 도용에 맞서 논쟁을 벌일 때 직면하는 큰 문제는 두 회사 모두 모델을 구축하기 위해 다른 소스의 콘텐츠에 의존하고 있으며 이로 인해 소송을 당했다는 것입니다.

Boies Schiller Flexner의 변호사인 Max Pritt는 AI 회사를 상대로 한 저작권 소송에서 도서 저자를 대리합니다. 정부도 같은 입장이라고 말했다.

“적어도 공개적으로는 이 행정부는 기술 기업의 지적 재산을 보호하는 데 노력을 집중해 왔으며 창작자와 개인의 지적 재산의 무단 사용에 대해서는 거의 침묵을 지켰습니다.”라고 Pritt는 말했습니다.