7월 16일 월스트리트 저널에 따르면,OpenAI의 전 최고 기술 책임자인 Mira Murati는 전 고용주인 OpenAI와 같은 최첨단 AI 연구소와의 기술 격차를 해소하기 위해 보다 맞춤형 AI 모델에 투자하고 있습니다..
무라티
Mulati가 이끄는 Thinking Machines Lab은 수요일에 회사의 첫 번째 AI 모델을 출시하고 "개방형 가중치" 모델을 채택했습니다. 즉, 다른 개발자가 자신의 데이터를 결합하여 모델을 수정할 수 있습니다. Inkling이라고 불리는 이 모델에는 9,750억 개의 매개변수가 있는데, 이는 OpenAI 및 Anthropic과 같은 경쟁사의 가장 발전된 비공개 소스 모델에 대해 외부 세계에서 추정한 매개변수보다 훨씬 작습니다.
Thinking Machines는 Inkling 기본 모델의 아키텍처가 중국의 DeepSeek-V3 모델을 기반으로 하며 훈련 후 단계에서 Dark Side of the Moon 회사인 Kimi K2.5가 생성한 데이터를 사용하여 최적화되었다고 말했습니다.
"우리는 Inkling을 폭넓은 적용 범위와 균형 잡힌 기능을 갖춘 기본 모델로 훈련시켰습니다. 다양한 분야에서 강력한 성능을 갖고 있으며 다양한 작업에 적응할 수 있을 만큼 유연합니다. 오픈 소스 모델이든 비공개 소스 모델이든 현재 Inkling은 전반적인 성능이 가장 강력한 모델은 아닙니다." Thinking Machines가 말했습니다.
씽킹머신즈는 모델 본래의 성능 향상에 집중하는 최첨단 AI 연구소와 달리,Inkling의 디자인 초점은 "비용과 성능 간의 균형 확장"에 있습니다..
Inkling에는 거의 1조 개의 매개변수가 있지만 그 중 "활성" 매개변수는 410억 개에 불과합니다. 이는 하나의 사용자 쿼리를 처리할 때 AI "두뇌"의 작은 부분만 활성화되어 더 저렴하고 빠르게 사용할 수 있음을 의미합니다.
이 모델은 작년에 출시된 Thinking Machines의 첫 번째 제품인 Tinker로 맞춤 설정할 수도 있습니다. Tinker는 AI 개발자와 연구원을 위한 클라우드 기반 미세 조정 도구입니다. 목표는 개발자가 기본 슈퍼컴퓨팅 인프라에 대해 걱정할 필요 없이 노트북 앞에 앉아 대규모 산업용 AI 모델을 맞춤화하고 훈련할 수 있도록 하는 것입니다.
Thinking Machines는 회사가 Inkling에 대해 보안 테스트를 실시했으며, 여기에는 생물학 무기 생성을 지원하거나 해커의 사이버 공격을 지원하는 데 사용될 수 있는지 평가하는 것이 포함되었습니다. 테스트 결과는 모델이 잘 수행되었음을 보여줍니다.
그러나 회사는 Inkling이 개방형 중량 모델을 채택했기 때문에 모델에 내장된 보안 보호 조치를 추가로 조정하고 개선하는 방법을 계속 연구하고 있다고 밝혔습니다. 이는 일부 비공개 소스 모델 개발자가 공개 가중치 모델에 대해 제기한 보안 문제 중 하나이기도 합니다.