요약:
NVIDIA는 최근 NVHBM(NVIDIA 고대역폭 메모리) 맞춤형 고대역폭 메모리 기술을 발표했습니다. 컴퓨팅 칩에 메모리 컨트롤러를 통합하는 기존 HBM 솔루션과 달리 NVHBM은 관련 기능을 3D HBM 스택의 기본 다이에 싱크합니다. Nvidia는 향후 GPU에 이 기술을 채택하고 NVLink Fusion을 통해 타사 XPU 고객에게 확장할 계획입니다.
기존 HBM 아키텍처는 일반적으로 컴퓨팅 다이에 메모리 컨트롤러를 배포하므로 컴퓨팅 장치에 사용할 수 있는 귀중한 실리콘 영역을 차지합니다. NVHBM은 컨트롤러를 HBM 스택 내부로 이동시켜 대역폭, 에너지 효율성 및 컴퓨팅 다이의 사용 가능한 영역을 동시에 향상시키는 것을 목표로 합니다. NVIDIA가 제공한 데이터에 따르면 표준 HBM4E와 비교하여 NVHBM은 메모리 대역폭을 최대 30% 늘리고 HBM 전력 소비를 15% 줄이며 프로세서 컴퓨팅 다이가 최대 25% 추가 사용 가능한 영역을 확보할 수 있습니다.
공간 절약은 주로 재설계된 물리적 메모리 인터페이스에서 비롯됩니다. 표준 HBM은 더 넓은 인터페이스 연결을 사용하므로 패키징 공간이 확장됩니다. NVHBM의 맞춤형 PHY는 JEDEC HBM4E에 비해 I/O 영역을 최대 67%까지 줄일 수 있습니다. 또한 더 좁은 인터페이스는 인터포저 라우팅을 단순화하여 전체 레이아웃에서 최대 80%의 추가 실리콘 공간을 확보합니다. NVIDIA는 PHY 설치 공간이 줄어든다는 것은 인터포저의 라우팅 제약이 줄어든다는 것을 의미하며, 이는 대형 컴퓨팅 다이 옆에 여러 HBM 스택 세트를 통합하는 데 특히 중요하다고 지적합니다.
에너지 소비 측면에서 HBM 전력 소비의 15% 감소는 효율성 향상에 중요할 뿐만 아니라 컴퓨팅 다이의 열 방출 마진을 더 많이 방출합니다. 이러한 이점은 엔터프라이즈 규모 배포 및 데이터 센터에 특히 중요합니다. 수천 개의 컴퓨팅 장치가 수백 개의 랙에서 동시에 실행될 때 개별 구성 요소의 에너지 효율성 향상이 크게 증폭됩니다. NVIDIA는 2000W XPU와 1GW의 총 전력 규모를 갖춘 데이터 센터를 예로 듭니다. 절약된 전력 마진은 이론적으로 최대 15,000개의 추가 XPU 배포를 지원할 수 있습니다.
삼성이 최근 Hot Chips에서 신제품을 출시했다는 점은 언급할 가치가 있습니다. 2026년 컨퍼런스에서 HBM4E가 단일 핀 속도의 출하를 준비하고 있음이 확인되었습니다. 16Gbps는 현재 14Gbps 버전에 비해 더욱 향상된 성능입니다. 기존 14Gbps HBM4E는 2048핀을 통해 스택당 3.6TB/s의 대역폭을 제공하는데, 16Gbps 버전에서는 이 값을 4TB/s까지 늘릴 수 있습니다. 여기에 엔비디아가 주장하는 30% 대역폭 증가까지 더해지면 단일 NVHBM 그룹의 이론적 대역폭은 약 5.2TB/s에 이를 것으로 예상된다.
NVIDIA는 NVHBM이 고객을 위한 공급업체 인증 프로세스를 단순화하기 위해 여러 메모리 공급업체의 검증을 받아들일 것이라고 밝혔습니다. Amazon의 자회사인 Annapurna Labs는 NVHBM 홍보를 위해 NVIDIA와 협력할 것임을 확인한 첫 번째 파트너가 되었습니다.
댓글