Nvidia는 비용을 통제하기 위해 Vera Rubin AI 캐비닛 메모리 구성을 줄인 것으로 알려졌습니다.

높은 메모리 가격과 계속되는 타이트한 공급망 상황의 영향으로 엔비디아는 차세대 Vera Rubin NV72(특히 VR200 NVL72) 캐비닛 수준 인공지능(AI) 시스템의 메모리 구성을 대폭 줄일 계획입니다.

GF증권이 최근 발표한 분석 보고서에 따르면 이번 조치는 고대역폭 메모리(HBM4), LPDDR5X 등 핵심 부품 가격 급등으로 인한 원가 압박에 대처하기 위한 조치다. 이전에는 업계가 광범위한 메모리 부족을 경험하기 전에 Nvidia가 장기 공급 계약을 체결하여 공급과 수요 불균형의 영향을 더 잘 견딜 수 있었지만 점점 더 높은 구성 요소 비용으로 인해 회사는 여전히 사양을 조정해야 했습니다.

NVIDIA의 Vera Rubin NVL72 캐비닛은 세계에서 가장 강력한 AI 시스템 중 하나로 간주됩니다. 이 시스템은 올해 1월 대중에게 처음 공개된 후 클라우드 서비스 제공업체인 CoreWeave가 공개한 테스트 데이터에서 놀라운 컴퓨팅 성능을 입증했습니다. 혼합 전문가 모델(MoE) 워크로드에서 Blackwell AI GPU를 사용하는 이전 세대 시스템은 150메가와트의 전력 소비로 초당 80,000개의 토큰 처리량을 달성할 수 있었던 반면, 새로운 VR200 NVL72 Vera Rubin 플랫폼은 이 수치를 직접적으로 10배 증가시켜 초당 800,000개의 토큰에 도달했습니다.

그러나 매우 강력한 성능에는 값비싼 하드웨어 비용이 수반됩니다. 투자 연구 기관인 Bernstein은 이전에 메모리 가격 급등으로 인해 단일 NVL72 Rubin 캐비닛의 실제 비용이 최대 910만 달러에 달할 수 있다는 보고서를 발표했습니다. 이는 초기 메모리 견적을 기준으로 한 이전 업계 추정치인 780만 달러를 훨씬 초과한 수치입니다. 번스타인은 차세대 HBM4 메모리 가격이 2027년까지 GB당 53달러까지 치솟을 것이라고 예측했습니다.

GF증권의 분석 보고서는 메모리 시장의 공급 병목 현상과 높은 비용에 직면한 엔비디아가 사양을 줄이는 등 도전에 적극적으로 대응하고 있음을 지적했습니다. VR200 NVL72 캐비닛에서 Nvidia는 LPDDR5X 공급망에 대한 부담을 완화하기 위해 기본 SOCAMM(Small Pressure Attachment Memory Module) 사양을 원래 192GB 모듈에서 96GB 모듈로 절반으로 줄일 계획입니다. 또한 Vera CPU의 전체 메모리 용량은 원래 계획된 54TB에서 55TB로 크게 줄어들어 약 28TB로 줄어들고 각 CPU에도 96GB SOCAMM 모듈이 사용됩니다. GPU 측면에서 각 캐비닛은 여전히 ​​20.7TB의 HBM4 고대역폭 메모리를 사용합니다.

재정적 관점에서 볼 때, 소형화는 시스템 구성 요소의 BOM(Bill of Materials)을 크게 줄여줍니다. GF증권은 LPDDR5X 메모리 용량을 절반으로 줄이면 VR200 관련 LPDDR5X 가격이 당초 추정치 120만달러에서 58만6000달러로 줄어들 수 있다고 밝혔다. 용량을 원래 용량의 1/4로 더 줄이면 비용도 US$293,000까지 줄일 수 있습니다. 분석에 따르면, 위의 사양 조정이 이루어지지 않으면 메모리 비용은 VR200 시스템 전체 BOM 비용의 29%(약 210만 달러)까지 치솟게 되며, 이는 엔비디아가 메모리 비용을 20% 이내로 통제하는 이상적인 수준을 훨씬 뛰어넘는 수준이다. 이러한 유연하고 간소화된 구성을 통해 NVIDIA는 캐비닛의 전체 비용을 합리적인 범위 내에서 제어하면서 높은 처리량의 컴퓨팅 성능이라는 이점을 유지할 것으로 예상됩니다.