MLPerf 공개 목록, 中 AI 칩 기업 또 세계 1위

MLPerf의 최신 GPT 대형 모델 추론 테스트가 출시되었습니다! 국내 컴퓨팅 파워 기업이 엔비디아 H100 대비 최대 1.8배 성능을 발휘하며 다시 세계 1위에 올랐습니다. ChatGPT와 같은 AIGC 애플리케이션이 대규모 모델의 물결을 일으키면서 인프라로서의 컴퓨팅 파워 레이어가 가장 먼저 수혜를 받는 산업이 되었습니다.

그러나 높은 컴퓨팅 성능 수요 및 높은 비용과 같은 문제는 기업이 대형 모델을 구현하는 데 일반적인 문제점이 되었으며 AI의 향후 개발을 제한할 가능성이 더 높습니다. 대형 모델 매개변수는 날로 증가하는 반면 컴퓨팅 전원 공급 병목 현상이 임박하여 둘 사이에 큰 모순이 발생합니다.

더 나은 대형 모델 컴퓨팅 성능 솔루션을 탐색하는 방법이 업계의 초점입니다.

최근 세계 권위 있는 평가기관인 MLPerf가 최신 추론 평가 결과를 발표했습니다. MLPerf가 GPT 대규모 모델 추론 테스트를 도입한 것은 이번이 처음입니다. NVIDIA, Intel, Google, Qualcomm 및 기타 회사에서 13,500개 이상의 성과 결과를 제출하여 참여율이 새로운 기록을 세웠습니다.

MLPerfInference3.1에서 MoffetAI S30 컴퓨팅 카드는 대형 모델 GPT-J(60억 매개변수)에서 단일 카드, 4카드, 8카드 컴퓨팅 성능 순위 1위에 올랐습니다.

이것은 MLPerf에서 Ink Core의 세 번째 연속 타이틀 방어입니다.

이전에는 잉크 코어가 MLPerfInference2.0 및 2.1에서 2년 연속 1위를 차지했습니다.

잉크 코어 S30 컴퓨팅 카드

잉크 코어의 성과는 대규모 모델 컴퓨팅 파워 솔루션에 실현 가능한 혁신적인 방향을 가져왔습니다.

AI 모델과 컴퓨팅 플랫폼을 결합한 하드웨어와 소프트웨어의 공동 혁신이 더 큰 컴퓨팅 성능 잠재력을 발휘할 수 있다는 사실이 입증되었습니다. 이 역시 스파스 컴퓨팅으로 대표되는 혁신적인 기술이 대형 모델 시대 컴퓨팅 파워 발전의 핵심이 될 것임을 다시 한 번 입증합니다.

잉크 코어는 MLPerf 개방형 파티션에 참여합니다. 주최측인 MLCommons에 따르면 이 파티션은 혁신을 장려하도록 설계되었습니다. 따라서 참가자는 소프트웨어 및 하드웨어 협업을 통해 컴퓨팅 성능을 향상시키는 방법을 모색할 수 있습니다.

MLPerf의 GPT-J 대형 모델에서 4nm 공정의 H100 순수 하드웨어 가속 솔루션과 비교했을 때 12nm 공정의 Ink Core S30 컴퓨팅 카드는 "원래 듀얼 스파스 알고리즘 + 하드웨어 협업" 접근 방식을 통해 최대 1.8배의 이점을 달성했습니다.

이 평가에서 GPT-J 모델은 생성 AI 모델입니다. 8카드, 4카드 및 단일 카드 모드에서 Ink Core S30 컴퓨팅 카드의 성능은 각각 170.5입니다. 9, 91.57, 23.28(Sample/s)로 NVIDIA H100 성능의 1.6배, 1.8배, 1.8배에 도달하여 AIGC 작업에서 잉크 핵심 제품의 성능을 입증했습니다.

가 우승을 세 번이나 차지했습니다. 대형 모델 컴퓨팅 파워는 최초로 '논문 제출'을 했고, 소프트웨어와 하드웨어 협업은 계속해서 혁신을 거듭했다. Ink Core의 제품 강도는 MLPerf에서 여러 번 엄격하게 테스트되었으며 대형 모델 컴퓨팅 성능 개발을 위한 새로운 길도 모색했습니다.

01

희소 스파스 컴퓨팅 - 대형 모델의 "잠재 재고"가 시장을 확보했습니다. 인식

잉크 코어의 뛰어난 결과는 주로 희소 알고리즘을 기반으로 한 소프트웨어와 하드웨어의 공동 설계에 기인합니다.

대형 모델 시대에 희소 컴퓨팅의 중요성은 자명합니다. AI 모델의 크기는 희소화 가능성에 정비례합니다.

즉, 모델이 클수록 알고리즘의 희소성이 발생할 가능성이 커지고, 희소 계산의 가속도도 높아집니다. 일반적인 대규모 언어 모델의 경우 희소 컴퓨팅은 수십 배의 가속을 가져올 수 있습니다.

Inkcore의 독창적인 이중 희소 알고리즘은 소프트웨어 및 하드웨어 협업 설계와 결합되어 Inkcore의 Antoum® 칩을 세계 최초의 고희소 배율 AI 칩으로 만들어 최대 32배의 희소성을 지원합니다. 이것이 이번 MLPerf에서 Inkcore의 기록 경신 기록의 핵심입니다.

모델이 클수록 희소 컴퓨팅의 이점은 더욱 분명해집니다. 특히 GPT와 같은 대형 모델의 매개변수가 종종 수백억 또는 수천억에 도달하는 현재 상황에서는 잉크 코어의 해자가 더욱 안정적입니다.

잉크 코어의 제품 강점과 희소 컴퓨팅의 일반적인 추세도 업계에서 인정받고 있습니다. 잉크 코어의 상용화 과정은 차례로 중요한 돌파구를 마련하여 기업이 AI 애플리케이션을 가속화하는 데 도움을 주었습니다.

최근에 Ink Core는 공식적으로 ByteMLPerf를 지원하는 공급업체 중 하나가 되었습니다.

출처: ByteMLPerf 웹사이트

프로젝트 주소: https://github.com/bytedance/By teMLPerf/blob/main/README.md

현재 Ink Core AI 컴퓨팅 플랫폼은 BLOOM, OPT, GPT-J, LLaMA, StableDiffusion 등을 포함한 다양한 매개변수 수준의 대규모 모델을 지원할 수 있습니다.

동시에, 높은 처리량, 짧은 대기 시간, 낮은 전력 소비 등의 특성을 갖고 있어 컴퓨팅 성능의 어려움을 완화하고 진정으로 "사용하기 쉽고" "저렴한" 대형 모델 컴퓨팅 성능 솔루션을 기업에 제공합니다.

02

는 컴퓨팅 성능에 근본적인 변화를 가져오고 희소 컴퓨팅은 Lida 모델 개발에 도움이 됩니다.

잉크 코어의 희소 컴퓨팅 솔루션은 현재의 컴퓨팅 성능 문제를 완화할 수 있을 뿐만 아니라 AI의 지속 가능한 개발을 위한 새로운 공간을 열 수 있습니다.

희소 컴퓨팅은 AI 모델의 계산량을 줄여줍니다. 즉, 대형 모델은 너무 많은 계산량을 생성하지 않고도 매개변수 수를 몇 배로 늘릴 수 있습니다. 대규모 모델 매개변수 증가와 컴퓨팅 성능 병목 현상 사이의 모순 이 근본적으로 해결될 것으로 예상됩니다.

동시에 계산량 감소로 인해 높은 컴퓨팅 성능 요구 사항, 높은 전력 소비 및 대형 모델의 높은 비용이라는 문제점도 해결되어 "win-win" 효과를 달성했습니다.

잉크 코어 Antoum 칩: 세계 최초의 고희소 배율 AI 칩, 최대 32배의 희소

TAGPH5 지원 23회 연속 MLPerf의 뛰어난 결과는 잉크 핵심 제품의 강점을 입증할 뿐만 아니라 업계에 새로운 사실을 밝혀줍니다. 스파스 컴퓨팅과 같은 기술의 도움으로 대형 모델의 개발 및 적용은 개발을 위한 더 넓은 공간을 안내하고 AIGC 및 사회 각계각층의 기타 응용 프로그램의 확산을 가속화할 것으로 예상됩니다.

03

MLPerf 시작자 Turing Award 수상자 David Patterson은 Google, Stanford, Harvard University 등 최고의 학술 기관과 협력하여 빠르게 성장하는 AI 컴퓨팅 요구 사항 및 성능을 적시에 추적하고 평가하는 가장 권위 있고 영향력 있는 국제 AI 성능 벤치마크 테스트입니다.