어제 GTC 컨퍼런스에서 엔비디아는 다수의 AI 시스템을 출시하고 지난해 200억 달러에 Groq 기술을 인수한 산물인 새로운 LPU 칩인 Groq 3 LPU를 공식 출시했습니다. 무거운 모델 훈련에 초점을 맞춘 AI GPU 칩과 비교했을 때, Groq 3 LPU는 AI 추론을 위해 설계되었으며 대기 시간이 짧고 컨텍스트가 긴 장점이 있습니다. 전체 AI 프로세스를 지원하기 위해 Vera Rubin과 함께 사용할 수 있습니다.
좋은 소식은 이 LPU 칩이 중국에서도 사용될 것으로 예상된다는 것이다.외신은 소식통을 인용해 엔비디아가 국내 시장에 판매할 수 있는 그로크(Groq) 칩 출시를 준비하고 있다고 전했다.
수출되기 전에 성능이 저하되어야 했던 이전 GPU 칩과 달리,이번에 그로크 칩은 거세 사양도 없고, H20처럼 국산 특수 버전도 아니다.
거세나 특별한 공급 없이 이러한 Groq 칩은 국내 시장에서 판매될 때 분명히 많은 저항을 줄일 것입니다. 하지만 가장 큰 문제는 미국 심사를 통과할 수 있느냐다. 황런쉰이 미국 대통령을 어떻게 설득하느냐에 달려 있다.
그러나 NVIDIA가 중국에 Groq 칩을 특별히 공급하지 않더라도 향후 중국에서 출시되는 Groq 칩이 어제 출시된 Groq 3 LPU가 될 것이라고 말하기는 어렵습니다. 후자의 현재 성능과 사양도 매우 강력하기 때문입니다.
이 제품의 단일 칩은 삼성 OEM에서 제조한 LPU30이라고 하며 500MB SRAM 캐시, 980억 개의 트랜지스터, FP8 문자 1.2PFLOPS를 통합합니다. AI 컴퓨팅 성능은 Rubin GPU보다 훨씬 떨어지지만 150TB/s의 대역폭은 HBM4의 22TB/s보다 훨씬 높습니다.
Groq 3 LPU 칩은 256개의 LPU30 칩과 128GB의 캐시 용량을 통합할 수 있는 Groq 3 LPX 랙 형태로 나타납니다.총 메모리 대역폭이 40PB/s로 증가되었습니다., 상호 연결 대역폭도 640TB/s입니다.
일반적으로 LPU는 AI 컴퓨팅 성능 측면에서 GPU와 비교할 수 없지만 SRAM의 대역폭은 의심할 여지 없이 HBM4를 능가하고 대기 시간은 더 낮습니다. 두 칩은 서로 다른 상황에 적합합니다. 누가 다른 사람을 대신하는지는 문제가 아닙니다. LPU 판매는 앞으로 폭발적으로 늘어날 것이다.
