NVIDIA의 30,000위안 AI 미니 슈퍼컴퓨터 실제 테스트: 전력 소비와 성능 모두 주장의 절반 미만

엔비디아의 미니 AI 슈퍼컴퓨터 DGX 스파크(DGX Spark)가 얼마 전 드디어 공식 출시되었으며, 시작 가격은 3,999달러(약 28,396위안)입니다.하지만 id Software의 공동 창업자인 존 카맥(John Carmack)은 최근 소셜 미디어를 통해 DGX Spark의 실제 전력 소비량과 성능이 공식 프로모션 가격보다 훨씬 낮다고 밝혔습니다.

그와 일부 연구자들은 NVIDIA DGX Spark가 명시된 성능 목표를 달성하지 못하는 것으로 나타났습니다.DGX Spark의 전력 소비 등급은 240W이지만 Carmack은 장치의 전력 소비량이 등급의 절반에도 못 미치는 약 100W에 불과한 것으로 나타났습니다.

시스템은 BF16 워크로드에서 약 60 TFLOPS, FP4 워크로드에서 약 480 TFLOPS의 성능을 달성했는데, 이는 예상 출력보다 훨씬 낮았습니다.

뿐만 아니라 100W 수준에서도 장치가 매우 뜨거워질 수 있으며 적어도 한 명의 사용자가 장기간 실행하는 동안 자동 재부팅을 보고했다고 덧붙였습니다.

Apple MLX 프레임워크의 수석 개발자인 Hannun은 Carmack에 회신하여 자신의 벤치마크에서 비슷한 결과를 얻었음을 확인했습니다.

Hannun은 PyTorch와 MLX를 사용할 때 BF16에서 DGX Spark의 지속 성능이 약 60 TFLOPS에 불과하다는 사실을 발견했습니다. 이는 NVDIA에서 광고한 FP4 성능의 1 PFLOPS보다 훨씬 낮습니다.

DGX Spark는 MediaTek의 ARM CPU와 NVIDIA의 자체 Blackwell GPU를 결합한 GB10 슈퍼 칩 기반의 "미니 워크스테이션" 시스템으로 자리매김했습니다.