7월 28일, Moonshot AI는 어젯밤 늦게 Kimi K3 모델 가중치를 공개하고 기술 보고서를 공개하며 MoonEP, FlashKDA 및 AgentEnv의 세 가지 핵심 인프라(인프라) 기술을 동시에 공개할 것이라고 발표했습니다. 이번 오프닝에서는 모델, 훈련 방법 및 기본 훈련 시스템을 다룹니다. 개발자는 배포 및 보조 개발을 위한 모델을 다운로드할 수 있습니다. 구체적인 사용 범위는 Kimi K3 라이센스를 준수해야 합니다.
공식 소개에 따르면 Kimi K3는 총 매개변수 규모가 2.8조에 달하는 하이브리드 전문가(MoE) 아키텍처를 채택하고 기본 시각적 이해 기능과 100만 개의 토큰 컨텍스트 창을 지원합니다. 이전 세대 Kimi K2.5와 비교하여 Kimi K3의 매개변수 규모는 약 3배 증가했습니다. The Dark Side of the Moon은 Kimi Delta Attention, Attention Residuals 및 MoonEP와 같은 기술을 사용하여 제한된 컴퓨팅 리소스로 모델 규모 효율성이 약 2.5배 증가했다고 밝혔습니다.
또한 모델 중량과 동시에 출시된 Kimi K3 기술 보고서도 있습니다. 공개 콘텐츠에 따르면, 이 보고서는 KDA 및 Gated MLA 하이브리드 주의 구조, Stable LatentMoE 전문가 라우팅 메커니즘, MoonViT-V2 시각적 인코더 교육 솔루션, 모델 후 교육 및 평가 방법을 포함하여 모델 교육 및 아키텍처 설계에 대한 많은 기술적 세부 사항을 공개했습니다. 그 중 모델은 896명의 라우팅 전문가와 각 토큰별로 활성화된 16명의 전문가로 구성된 MoE 설계를 채택하고 일반 추론, 에이전트 및 프로그래밍 에이전트와 같은 다양한 기능에 대한 교육 및 평가를 다룹니다.
모델 자체 외에도 Dark Side of the Moon은 Kimi K3 훈련을 지원하는 핵심 인프라 기술의 오픈 소스도 발표했습니다. 그중 MoonEP는 대규모 MoE 모델을 위한 고성능 전문 병렬 통신 라이브러리 세트입니다. FlashKDA는 Kimi Delta입니다. Attention에 해당하는 고성능 컴퓨팅 운영자의 경우 공식 데이터에 따르면 NVIDIA H20의 사전 채우기 속도는 플래시 선형 주의 기준보다 1.72~2.22배 더 높습니다. AgentEnv는 Dark Side of the Moon과 KVCache.ai가 공동 개발한 Agent 샌드박스 시스템으로, 빠른 스냅샷, 복구, Fork 등의 기능을 지원할 수 있으며 대규모 Agent 교육 환경에서 사용됩니다.
The Dark Side of the Moon은 이번 오픈이 개방형 가중치 모델 생태계의 발전을 촉진하는 것을 목표로 한다고 밝혔습니다. 모델, 학습 방법 및 기본 인프라를 공개하여 모델 배포 및 개발의 문턱을 낮추고 AI 커뮤니티 및 관련 연구에 보다 재사용 가능한 기술 리소스를 제공하기를 희망합니다.