NVIDIA, AMD, Google AI 카드의 실제 비교: N 카드는 여전히 비용 효율성 이점이 5배 더 높습니다.

AI 대형 모델 훈련/추론 측면에서 NVIDIA의 그래픽 카드는 의심할 여지 없이 현재 가장 일반적으로 사용됩니다. AMD, Intel, Google과 같은 회사는 비교할 수 없는 점유율을 보유하고 있습니다. 문제는 NVIDIA가 어디에서 더 강한가입니다. CUDA의 생태학적 이점이나 AI 연산자와 같은 매개변수는 말할 필요도 없습니다. 인공 분석은 Google TPU v6e, AMD MI300X 및 NVIDIA H100/B200을 각각 사용하여 현재 세 가지 추론 솔루션의 실제 성능을 직접 비교합니다.

많은 테스트가 있지만 포괄적인 테스트를 살펴보는 것만으로도 충분합니다. 30Token/s 속도의 백만 입력 및 출력당 비용입니다. 런닝 모델은 Llama 3.3 70B 입니다.

이와 관련하여,H100의 가격은 $1.06이며,H200은 1.17달러, B200 TensorRT는 1.23달러, B200은 1.45달러, AMD의 MI300X는 2.24달러, Google의 TPU v6e는 5.13달러입니다.

이에 비해 N 카드는 AMD에 비해 가격 대비 성능이 최소 2배 이상 우수합니다.구글과 비교하면 5배 정도의 우위를 갖고 있으며, 그 격차는 매우 확연하다.

NVIDIA의 최신이자 가장 비싼 B200 그래픽 카드를 사용하더라도 비용 증가는 그리 뚜렷하지 않습니다. 결국 성능은 크게 향상됐고, 여전히 AMD나 구글에 비해 큰 우위를 점하고 있다.

현재 AMD와 Google의 AI 카드는 여전히 상당히 다르다고 할 수 있지만 두 차세대 제품은 크게 개선되었습니다. AMD의 MI400X 시리즈는 최대 432GB HBM4 비디오 메모리를 탑재했으며, 구글의 TPU v7은 성능이 몇 배 더 좋다고 한다. 이 평가 결과는 그때까지 다시 작성될 수 있습니다.

물론 NVIDIA는 가만히 있지 않을 것입니다. 차세대 루빈 그래픽카드도 출시돼 내년에 출시될 예정이어서 격차는 더욱 벌어질 것으로 예상된다.