요약:
프레임워크는 9월 30일 AMD Ryzen AI Max+ PRO 495 프로세서가 장착된 새로운 프레임워크 데스크톱의 사전 주문을 공식적으로 시작했습니다. 로컬 AI 컴퓨팅을 위한 이 미니 데스크톱 컴퓨터는 가격이 매우 높지만 DIY 버전은 US$6,799부터 시작하지만 첫 번째 제품은 온라인에 출시된 지 몇 시간 만에 빠르게 매진되어 대규모 AI 모델을 로컬에서 실행하기 위한 대용량 통합 메모리에 대한 수요가 높음을 보여줍니다.
Framework가 출시한 플래그십 구성은 코드명 "Gorgon Halo"인 차세대 프로세서인 AMD Ryzen AI Max+ PRO 495를 사용하며 192GB LPDDR5X-8533 통합 메모리를 탑재합니다. 이전 Framework Desktop의 최대 구성인 128GB에 비해 새 버전에서는 한 번에 64GB의 메모리가 추가되어 일부 모델 가중치를 SSD에 자주 넣거나 여러 컴퓨터를 통해 클러스터를 구성할 필요 없이 단일 시스템에 대규모 로컬 AI 모델을 직접 로드할 수 있습니다.
Ryzen AI Max+ PRO 495는 최대 가속 주파수가 5.2GHz인 16코어 Zen 5 CPU를 사용하며 64MB 레벨 3 캐시, 기본 TDP 55W, cTDP 최대 120W 및 통합 Radeon 8065S GPU를 갖추고 있습니다. CPU와 GPU는 통합 메모리를 공유하는데, 이는 이 제품이 로컬 AI 추론에 특히 적합한 중요한 이유 중 하나입니다. 프레임워크에 따르면 192GB 메모리를 사용하면 이전에는 일반 소비자 PC에서 메모리에 완전히 로드하기 어려웠던 대형 모델을 실행할 수 있다고 합니다.
이전 Ryzen AI Max+ 395와 비교하여 PRO 495는 메모리 용량을 늘릴 뿐만 아니라 CPU 및 GPU 클럭 주파수도 더 높고 통합 메모리 속도를 8533MT/s로 높입니다. 프레임워크는 이러한 변화가 AI 추론 속도를 더욱 향상시킬 수 있다고 말했습니다.
이번 Framework에서 제공하는 192GB 버전에는 DIY Edition과 사전 설치된 시스템의 전체 호스트 버전이 포함되어 있습니다. DIY 에디션은 6,799달러부터 시작하며 192GB 통합 메모리를 포함하지만 사전 설치된 스토리지는 없습니다. 이미 SSD가 있거나 자신만의 스토리지 솔루션을 선택하려는 사용자의 경우 이 구성을 사용하면 비용을 어느 정도 줄일 수 있습니다.
사전 설치된 전체 버전을 선택하면 가격은 7,449달러에 이릅니다. 이 버전에는 2TB NVMe PCIe 4.0 SSD가 추가되고 Fedora 44 KDE Plasma Edition 운영 체제가 사전 설치되어 제공됩니다. 즉, 2TB SSD와 사전 설치된 시스템만 추가하면 전체 시스템 가격이 DIY 버전보다 650달러 더 높다는 뜻이다.
비교를 위해 Ryzen AI Max+ 395 및 128GB 메모리를 탑재한 현재 Framework Desktop의 가격은 약 US$3,449입니다. 새로운 192GB 버전은 50% 더 많은 메모리와 업그레이드된 프로세서를 갖추고 있지만 DIY 버전은 원래 128GB 버전보다 거의 두 배나 비쌉니다.
이런 높은 가격은 최근 메모리 시장의 긴장감이 지속되는 것과 직결된다. Framework는 이전에 대용량 LPDDR5X 메모리의 가격이 크게 상승하고 있다고 여러 번 언급했습니다. 특히 128Gbit 고밀도 메모리 입자의 공급 부족으로 인해 대용량 통합 메모리 장치의 가격에 매우 분명한 영향을 미칩니다. 따라서 이 192GB 버전의 가격은 Framework Desktop의 이전 일반 구성보다 훨씬 높습니다.
사실 Framework는 제품이 공식적으로 선주문되기 전에 제한된 메모리 재고로 인해 처음에는 192GB Gorgon Halo 시스템 배치만 제공할 수 있을 것이라고 밝혔습니다. 9월 30일부터 사전 주문이 시작된 이후 1차 제품은 빠르게 매진됐다. Framework는 나중에 회사가 추가 메모리 배치를 확보하여 두 번째 한정된 선주문 배치를 열었다고 말했습니다.
2차 제품은 11월부터 배송될 예정입니다. 그러나 프레임워크는 또한 다음 몇 가지 제품 배치의 가격과 출시 시간은 메모리 공급업체의 비용과 공급에 따라 달라질 것이라는 점을 소비자에게 상기시킵니다. 회사는 Framework Desktop의 가격이 앞으로 몇 달 동안 계속 상승할 수도 있음을 분명히 했습니다.
로컬 AI 사용자들에게는 192GB 통합 메모리가 이 기기의 가장 큰 매력이다. 기존 PC는 일반적으로 대규모 AI 모델을 실행하기 위해 독립 그래픽 카드 메모리에 의존하는 반면, 고급 GPU의 메모리 용량은 일반적으로 단일 카드로 제한됩니다. 모델이 비디오 메모리에 완전히 배치되지 않으면 시스템 메모리나 심지어 SSD를 데이터 교환에 사용해야 하며 성능에 큰 영향을 미칠 수 있습니다.
프레임워크 데스크톱은 CPU, GPU, AI 컴퓨팅이 통합 메모리를 공유하는 아키텍처를 채택해 GPU에 직접 대용량 메모리를 할당할 수 있다. 192GB 용량은 사용자가 약 4.5리터의 소형 컴퓨터에서 매우 큰 로컬 모델을 실행할 수 있음을 의미합니다. 프레임워크에 따르면 추가 64GB 메모리는 더 큰 단일 모델을 로드할 수 있을 뿐만 아니라 두 개의 더 작은 모델을 동시에 메모리에 저장할 수 있어 더 빠른 모델이 주요 상호 작용을 담당할 수 있게 하고 더 유능하지만 더 느린 다른 모델이 복잡한 문제를 처리할 수 있게 해준다고 합니다.
프레임워크는 또한 이 구성이 AI를 완전히 로컬에서 실행하려는 사용자에게 매력적이라는 점을 특히 강조합니다. 모델은 클라우드에 데이터를 업로드하지 않고도 로컬 장치에 머물 수 있습니다. 개인 정보 보호, 소스 코드 또는 민감한 비즈니스 데이터와 관련된 시나리오의 경우 로컬 작업을 통해 클라우드 AI 서비스에 대한 의존도를 줄일 수 있습니다.
그러나 192GB 통합 메모리가 3000억 개의 매개변수 수준 모델을 모두 고속으로 실행할 수 있다는 의미는 아닙니다. 모델 크기, 양자화 방법, 컨텍스트 길이 및 실제 메모리 공간은 모두 최종 성능에 영향을 미칩니다. 대용량 메모리는 "모델을 설치할 수 있는가"라는 문제를 해결하며 모델 추론 속도도 GPU 컴퓨팅 성능, 메모리 대역폭 및 소프트웨어 최적화에 따라 달라집니다.
Framework Desktop의 전체 용량은 약 4.5리터에 불과하므로 이 기기는 전통적인 의미에서 일반 미니 PC보다 아주 작은 로컬 AI 워크스테이션에 더 가깝습니다. AI 컴퓨팅 외에도 게임, 개발, Linux 데스크톱 작업 등의 작업도 수행할 수 있으며 프레임워크는 모듈형 설계 개념을 지속적으로 강조합니다.
현재 프레임워크 데스크톱은 이미 32GB, 64GB, 128GB 등 다양한 메모리 구성을 제공하고 있으며, 192GB 버전은 국내 AI 사용자들을 위한 전체 제품군의 주력 모델이 됐다. AMD가 통합 메모리 용량과 AI 컴퓨팅 기능을 지속적으로 개선함에 따라 이 "CPU+GPU+대용량 공유 메모리" 아키텍처도 대규모 언어 모델을 로컬에서 실행하는 중요한 경로가 되고 있습니다.
192GB Framework Desktop의 첫 번째 배치는 US$6,799의 시작 가격에도 불구하고 빠르게 매진되었습니다. 이는 일부 AI 개발자와 현지 모델 매니아들이 대용량 통합 메모리 장치에 대한 수요가 매우 높음을 나타냅니다. 그러나 첫 번째 제품 배치 자체는 메모리 공급에 의해 제한되므로 매진이 전체 시장의 일반적인 수요 규모를 직접적으로 나타내지는 않습니다. 이 제품이 더욱 대중화될 수 있는지 여부를 결정하는 실제 열쇠는 향후 메모리 가격, 공급, 대규모 AI 모델을 위한 로컬 하드웨어 수요에 달려 있습니다.
댓글