요약:
엔비디아가 인수한 AI 추론 칩 기업 그로크(Groq)는 현재 널리 사용되고 있는 SRAM 솔루션을 대체하기 위해 차세대 LPU(언어 처리 장치) 제품에 3D 적층 DRAM 기술을 도입할 계획입니다. 이번 조정은 회사가 대규모 인공지능 모델에 대한 수요 증가에 적응하기 위해 앞으로 칩 저장 용량을 늘리는 데 더 집중한다는 것을 의미합니다.
올해 초 NVIDIA는 AI 추론 성능을 향상시키기 위해 Groq LPX 랙 제품을 발표하고 Vera Rubin 생태계에 포함시켰습니다. 랙은 올해 8월부터 본격적인 대량 생산에 들어갔습니다. 초기 테스트 결과에 따르면, NVL72 서버와 함께 작동할 때 시스템은 초당 3,400개의 토큰 추론 속도를 달성하여 새로운 성능 기록을 세울 수 있습니다.
현재 세대의 Groq LPU는 500MB SRAM으로 설계되었으며 최대 150TB/s의 메모리 대역폭을 갖습니다. LPX 랙에서 시스템은 256개의 칩으로 구성되어 총 128GB의 SRAM 용량과 640TB/s의 확장된 대역폭 기능을 제공합니다. 단일 Groq LPU는 약 1.20PFLOP의 FP8 컴퓨팅 성능을 제공할 수 있습니다.
그러나 Groq는 차세대 제품을 위해 완전히 다른 경로를 택할 준비를 하고 있습니다. 회사는 SRAM에만 의존하던 것을 버리고 DRAM을 채택하고 3D Stacked(3D Stacked) 패키징 기술과 결합해 새로운 아키텍처를 만들 계획이다. SRAM과 비교할 때 DRAM의 가장 큰 장점은 SRAM보다 훨씬 높은 저장 용량을 제공할 수 있지만 상대적으로 대역폭과 액세스 속도가 낮다는 점입니다.
반도체 업계 관계자는 그로크가 차세대 칩에 3D 패키징 기술을 도입할 계획이며, 적층 대상이 기존 S램에서 D램으로 바뀔 것이라고 전했다. 이러한 움직임은 업계에서 칩 저장 용량을 크게 늘리려는 Groq의 바람으로 널리 해석됩니다. SRAM은 매우 빠르지만 용량 확장은 제한적입니다. 이에 비해 DRAM은 속도가 느리지만 대규모 저장 시스템을 구축하는 데 더 적합합니다.
Groq는 3D 적층 기술을 사용하여 단일 수직 구조 칩에 여러 레이어의 DRAM을 쌓을 수 있으며 TSV(Through Silicon Via) 기술을 활용하여 레이어 간 연결을 구현합니다. 이 설계 개념은 현재의 고대역폭 메모리 HBM이 구현되는 방식과 매우 유사합니다. 기존 DRAM 패키징과 비교하여 3D 적층 솔루션은 단위 면적당 저장 밀도를 크게 높일 수 있을 뿐만 아니라 에너지 효율성을 향상하고 공간 요구 사항을 줄일 수 있습니다.
지금까지 공개된 정보에 따르면 Groq 제품 업그레이드의 초점은 분명히 저장 용량으로 이동한 동시에 SRAM 아키텍처가 제공하는 고대역폭 이점 중 일부를 최대한 유지하기를 희망하고 있습니다. 제너레이티브 AI 모델의 규모가 계속 커지면서 대용량, 고속 메모리에 대한 필요성도 계속 커지고 있어 차세대 그로크(Groq) 칩의 활용도가 더욱 높아질 것으로 예상된다.
보고서는 또한 Groq이 미래에 SRAM을 완전히 버리지 않을 수도 있지만 DRAM과 SRAM 제품 라인을 병행하여 개발하여 다양한 애플리케이션 시나리오에 따라 차별화된 솔루션을 제공할 것이라고 언급했습니다. AI 공장과 AI 플랫폼을 구축하고 있는 엔비디아에게도 이런 대용량 추론 칩은 앞으로 더욱 중요한 역할을 할 것으로 예상된다.
댓글