Meta는 Apple과 손을 잡고 8,160억 개의 매개변수 AI 모델을 Mac Studio에 도입합니다.

요약:

메타는 지난 10월 15일 오픈 웨이트 인공지능 모델 뮤즈 스파크 오픈(Muse Spark Open)을 출시했으며, 애플과 협력하여 해당 모델의 로컬 실행 솔루션을 Mac Studio용으로 최적화했습니다.

이번 콜라보레이션은 꽤 눈길을 끕니다. Apple과 Meta는 과거에 개인 정보 보호 정책, 플랫폼 규칙, 애플리케이션 생태학에서 상당한 차이를 보였지만 이번에는 양 당사자가 Apple 하드웨어에서 개방형 가중치 모델의 운영을 공동으로 추진했습니다. Meta CEO Mark Zuckerberg는 협력에 참여한 Apple CEO John Ternus에게 감사를 표했습니다. Ternus는 또한 Muse Spark Open이 데스크톱 장치에서 효율적으로 실행될 수 있으며 로컬 AI 컴퓨팅에서 Mac Studio의 잠재력을 입증할 수 있다고 공개적으로 밝혔습니다.

Muse Spark Open은 Meta Muse 모델 제품군의 개방형 버전입니다. 원격 서비스를 통해서만 액세스할 수 있는 폐쇄형 모델과 달리 개방형 가중치 모델을 사용하면 라이선스 조건에 따라 사용자가 모델 가중치를 얻고 직접 배포할 수 있습니다. 이를 통해 개발자, 연구원 및 기업은 운영 환경에 대한 더 큰 통제권을 확보하고 추론 프로세스를 필요에 맞게 조정할 수 있습니다.

모델에는 총 8,160억 개의 매개변수가 있지만 희소 활성화 설계를 사용하여 각 추론에 대해 약 420억 개의 매개변수만 활성화됩니다. 즉, 모델은 각 Token을 처리할 때 계산에 모든 매개변수를 포함할 필요는 없지만 작업 및 입력 내용에 따라 해당 부분을 호출합니다. 이 설계는 추론 계산 양을 줄이는 데 도움이 되지만, 전체 모델의 가중치를 여전히 저장하거나 관리해야 하기 때문에 420억 개의 매개변수에 필요한 메모리만 사용하여 모델을 실행할 수 있다는 의미는 아닙니다.

컨텍스트 창은 Muse Spark Open을 나타내는 또 다른 중요한 지표입니다. 이 모델은 1백만 개의 토큰 컨텍스트를 지원하며 이론적으로 매우 긴 텍스트, 코드 베이스 또는 여러 문서를 하나의 작업으로 처리할 수 있습니다. 소프트웨어 엔지니어링 작업의 경우 이는 모델이 많은 양의 소스 코드와 관련 자료를 동시에 참조할 수 있는 기회를 갖게 되어 불충분한 맥락으로 인해 중요한 정보가 누락될 위험을 줄일 수 있음을 의미합니다. 그러나 실제 사용 가능한 컨텍스트 길이, 처리 속도 및 메모리 공간은 여전히 ​​특정 실행 구성 및 추론 프레임워크에 따라 달라집니다.

Meta는 Muse Spark Open이 Mac Studio에 최적화되어 있으며 Apple 칩의 통합 메모리 아키텍처를 사용하여 실행할 수 있다고 말했습니다. 기존 개별 그래픽 시스템에서는 일반적으로 모델 가중치를 비디오 메모리에 배치해야 하지만 Apple의 통합 메모리 아키텍처에서는 CPU와 GPU가 동일한 메모리 풀을 공유할 수 있습니다. 대용량 통합 메모리를 지원하는 Mac Studio에서 GPU는 최대 512GB의 통합 메모리에 액세스할 수 있어 대규모 개방형 모델을 실행하기 위한 하드웨어 기반을 제공합니다.

Meta에 따르면 두 개의 Mac Studio가 해당 소프트웨어 프레임워크를 통해 공동으로 모델을 실행할 수 있으므로 시스템에는 약 1TB의 통합 메모리가 있습니다. 각 장치에 장착된 M5 Ultra 칩은 최대 1.2TB/s의 메모리 대역폭을 갖습니다. Meta는 이 구성이 희소 활성화 메커니즘을 활용하여 각 토큰 추론에 필요한 매개 변수 중 일부만 읽는 동안 Muse Spark Open을 로컬로 실행할 수 있다고 믿습니다.

이 솔루션의 핵심은 단순히 두 대의 컴퓨터를 연결하는 것이 아니라 통합된 메모리 아키텍처, 모델 샤딩 및 추론 프레임워크를 통해 함께 작동하여 원래 대규모 컴퓨팅 인프라가 필요한 모델을 데스크톱 장치에서 실행할 수 있도록 하는 것입니다. Apple의 MLX 기계 학습 프레임워크는 Apple Silicon에서 모델 실행을 지원하며 Meta는 Muse Spark Open에 맞게 조정됩니다.

그러나 로드 및 실행이 가능한 모델과 고속으로 실행이 가능한 모델의 두 가지 개념을 구분할 필요가 있습니다. 충분한 메모리가 있으면 매우 큰 모델을 배포하는 데 있어 한 가지 주요 장애물만 해결될 뿐입니다. 모델 샤딩, 장치 간 통신, 메모리 대역폭, 컴퓨팅 단위 활용도 및 컨텍스트 길이는 모두 최종 추론 속도에 영향을 미칩니다. 이번에 Meta가 공개한 정보는 모델의 실행성과 하드웨어 구성을 강조했지만 실제 성능을 완전히 판단하기에 충분한 완전한 벤치마크 테스트 데이터를 제공하지는 않았습니다.

이 계획의 중요한 한계는 가격이기도 합니다. 애플은 10월 말 출시 예정인 512GB 통합 메모리를 탑재한 맥 스튜디오(Mac Studio)를 아직 공식 출시하지 않았다. 256GB 통합 메모리를 탑재한 기존 고급 Mac Studio 모델의 가격은 이미 10,000달러가 넘으므로 512GB 버전 2개로 구성된 시스템은 값비싼 투자가 될 것으로 예상됩니다. 일반 개인 사용자에게 이것은 분명히 저가형 로컬 AI 솔루션은 아니지만, 대규모 모델을 실행하고 데이터 제어를 중요시해야 하는 개발팀과 연구 기관에게는 기존 서버에 대한 대안을 제공합니다.

Meta는 Muse Spark Open이 Mac Studio에서 실행될 수 있을 뿐만 아니라 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter 및 Together AI를 포함한 여러 클라우드 AI 플랫폼을 통해서도 호출될 수 있다고 밝혔습니다. 모델 가중치를 직접 다운로드하려는 사용자의 경우 Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face, Microsoft Foundry Models를 통해 관련 파일을 얻을 수 있습니다.

이 모델은 제한이 없는 일반 오픈소스 라이선스가 아닌 제한된 상업적 사용을 허용하는 라이선스를 사용합니다. 따라서 상용 제품에 사용하기 전에 개발자와 기업은 특정 라이선스 조건을 주의 깊게 읽고 배포 방법, 사용자 규모 및 애플리케이션 시나리오가 요구 사항을 충족하는지 확인해야 합니다.

이번 협력은 또한 로컬 AI 컴퓨팅의 새로운 개발 방향을 반영합니다. 과거에는 수천억 개의 매개변수가 포함된 대규모 모델을 실행하려면 일반적으로 여러 개의 전문 GPU, 대용량 비디오 메모리 및 복잡한 서버 클러스터가 필요했습니다. Apple은 고급 데스크탑 컴퓨터가 더 큰 규모의 모델을 호스팅할 수 있도록 통합 메모리 아키텍처와 고대역폭 칩을 사용하려고 노력하고 있습니다. 이 접근 방식은 비용 및 추론 성능 측면에서 여전히 제한적이지만 모든 데이터를 클라우드로 전송하고 싶지 않은 사용자에게 새로운 가능성을 열어줍니다.

Apple의 경우 Muse Spark Open은 AI 개발 분야에서 Mac Studio의 위치를 ​​입증하는 데도 도움이 됩니다. 점점 더 많은 개발자가 로컬에서 모델을 실행하려고 시도함에 따라 통합 메모리 용량과 대역폭은 점차 고급 컴퓨터의 AI 기능을 측정하는 중요한 지표가 되었습니다. Apple은 M5 Ultra 및 MLX 생태계를 통해 Mac이 비디오 편집, 3D 디자인 및 음악 제작에 적합할 뿐만 아니라 로컬 AI 개발 및 추론 플랫폼이 되기를 바라고 있습니다.

Meta의 경우 개방형 모델을 출시하고 Apple 하드웨어에서 실행을 지원하면 Muse 시리즈의 개발자 적용 범위를 확대하는 데 도움이 될 것입니다. 사용자는 필요에 따라 클라우드 API 또는 로컬 배포를 선택할 수 있으며 Meta는 더 많은 개발자를 유치하여 모델을 중심으로 애플리케이션과 도구를 구축할 수 있습니다.

전반적으로 Muse Spark Open의 의의는 8,160억 개의 매개변수 수에 있을 뿐만 아니라 대규모 오픈 웨이트 모델과 고급 데스크톱 하드웨어를 결합할 수 있는 가능성을 보여주었다는 점에도 있습니다. 512GB 통합 메모리를 탑재한 Mac Studio 두 대는 모델에 약 1TB의 메모리 공간을 제공할 수 있어 로컬 실행에 적합하지만 실제 경험은 여전히 ​​추론 속도, 하드웨어 비용 및 소프트웨어 최적화에 따라 달라집니다.

이번 협력은 일반 개인용 컴퓨터가 매우 큰 규모의 모델을 쉽게 실행할 수 있다는 것을 증명하기에는 충분하지 않지만, 로컬 AI 하드웨어가 더 높은 메모리 용량과 더 강력한 협업 컴퓨팅 기능을 향해 발전하고 있음을 보여줍니다. 모델 아키텍처와 추론 소프트웨어가 지속적으로 최적화됨에 따라 과거에는 대규모 데이터 센터에만 배포할 수 있었던 일부 AI 모델이 향후 점차 스튜디오, 실험실 및 개발자 데스크톱 환경에 들어갈 수 있습니다.