요약:
커뮤니티 개발자가 주도한 새로운 연구에 따르면 NVIDIA GeForce RTX 30 시리즈 및 RTX 40 시리즈 그래픽 카드에는 공식 사양을 훨씬 뛰어넘는 컴퓨팅 잠재력이 숨어 있는 것으로 나타났습니다. 기본 펌웨어 및 하드웨어 구성을 잠금 해제함으로써 개발자는 원래 제한되었던 컴퓨팅 성능의 일부를 성공적으로 출시했으며 일부 모델은 인공 지능 및 매트릭스 컴퓨팅 시나리오에서 최대 두 배에 가까운 성능 향상을 달성할 수 있습니다.
보고서에 따르면 RTX 30 시리즈 "Ampere" 아키텍처 그래픽 카드에 사용되는 코어는 본질적으로 NVIDIA의 전문가급 GPU와 동일한 실리콘이지만 소비자급 제품의 일부 컴퓨팅 기능은 소프트웨어 및 펌웨어 정책에 의해 제한됩니다. 연구원이 개발한 잠금 해제 솔루션은 FP/BF16 FMA의 명령 발행 속도를 FP32 작업으로 높일 수 있으며 GA102, GA103, GA104 및 GA106 코어에 적합합니다.
실제 테스트에서 RTX 3090 Ti의 BF16 매트릭스 곱셈 성능이 최대 약 80% 향상됐다. 행렬 곱셈은 대부분의 신경망 모델을 실행하는 데 중요한 기본 작업이므로 이러한 개선은 로컬 AI 추론 및 기계 학습 작업에 분명한 의미를 갖습니다.
동시에 RTX 40 시리즈 "Ada Lovelace" 아키텍처에 대한 또 다른 잠금 해제 프로젝트도 획기적인 성과를 거두었습니다. 이 솔루션은 FP32 누적 정확도를 유지하면서 FP16 및 BF16 Tensor의 컴퓨팅 처리량의 약 2배를 달성합니다.
RTX 4090을 예로 들면, FP16 Tensor 처리량 테스트에서 그래픽 카드는 원래 165.6 TFLOPS에 도달할 수 있었지만 잠금 해제를 활성화한 후에는 성능이 331.6 TFLOPS로 증가하여 거의 두 배가 되었습니다. 이 수준은 RTX 6000 Ada와 같은 일부 전문가급 제품의 컴퓨팅 성능에 가깝거나 심지어 도달합니다.
연구원들은 이것이 AD102 코어가 소비자급 제품, 특히 행렬 곱셈 및 누적과 같은 주요 AI 컴퓨팅 영역에서 인공 컴퓨팅 한계를 가지고 있음을 나타낸다고 믿습니다. 이러한 제한은 대규모 언어 모델과 같은 AI 애플리케이션의 운영 효율성에 직접적인 영향을 미칩니다. 현재 잠금 해제 프로젝트는 AD102, AD103 및 AD106 코어 모델을 지원하는 것으로 확인되었습니다.
RTX 30 시리즈와 RTX 40 시리즈에 대한 두 가지 잠금 해제 솔루션이 거의 동시에 등장하여 두 세대의 GPU 아키텍처인 Ampere와 Ada Lovelace를 각각 포괄한다는 점은 주목할 가치가 있습니다. 개발자는 이러한 수정 사항이 NVIDIA 드라이버의 전체 검증 메커니즘을 통과하고 PCIe FLR(기능 수준 재설정) 제한을 성공적으로 우회할 수 있다고 밝혔습니다. 따라서 공식 원본 드라이버를 계속 사용할 수 있으며 CUDA 관련 테스트 소프트웨어도 정상적으로 실행할 수 있습니다.
테스트 데이터에 따르면 GA102와 AD102 그래픽 카드 모두 잠금 해제 전후에 동일한 전력 소비 제한을 유지하는 것으로 나타났습니다. 예를 들어, 450W의 총 보드 전력 소비 설정에서 성능 개선은 전력 소비나 주파수의 추가 증가보다는 전적으로 출시된 컴퓨팅 성능에서 비롯됩니다.
로컬 대형 언어 모델, 생성 AI 및 기타 고강도 컴퓨팅 작업을 사용하는 사용자의 경우 추가로 출시된 Tensor 컴퓨팅 성능은 프롬프트 단어 전처리 및 추론 단계의 효율성을 향상시켜 더 높은 토큰 처리량과 더 빠른 응답 속도를 달성할 수 있습니다.
그러나 개발자는 이러한 수정이 비공식적이며 그래픽 카드 보증이 무효화될 수 있음을 상기시킵니다. 또한 NVIDIA 드라이버가 GPU를 인수하기 전에 잠금 해제 작업이 완료될 수 있도록 시스템 시작 단계에서 관련 모듈을 먼저 로드해야 합니다. 따라서 이러한 유형의 솔루션은 특정 기술적 능력을 갖추고 위험을 감수할 의지가 있는 고급 사용자에게 더 적합합니다.
댓글