NVIDIA TensorRT는 성능을 두 배로 높이고 모든 RTX 그래픽 카드를 지원합니다.

NVIDIA는 이제 DirectML의 두 배에 달하는 성능을 갖춘 TensorRT AI 추론 가속 프레임워크를 GeForce RTX 그래픽 카드에서 사용할 수 있다고 발표했습니다.TensorRT는 NVIDIA가 출시한 추론 최적화 프로그램으로 AI 모델의 운영 효율성을 크게 향상시킬 수 있습니다. 이번에 NVIDIA는 RTX 플랫폼에 TensorRT를 도입하여 모든 RTX 그래픽 카드 사용자가 더 빠른 AI 성능을 즐길 수 있도록 했습니다.

NVIDIA에 따르면 TensorRT는 기본 Windows ML을 지원할 뿐만 아니라 각 AI 기능을 실행하고 해당 실행 공급자를 다운로드하는 데 적합한 하드웨어를 자동으로 선택하여 개발 프로세스를 크게 단순화할 수 있습니다.

성능면에서,NVIDIA는 TensorRT와 DirectML 간의 비교 데이터를 보여주었습니다. ComfyUI에서 TensorRT를 사용하는 사용자는 최대 2배의 성능 향상을 얻을 수 있습니다. DaVinci Resolve와 Vegas Pro에서는 성능이 60% 향상되었습니다.

또한 RTX용 TensorRT는 라이브러리 파일 크기가 8배 더 작아지고 각 GPU에 대한 즉각적인 최적화와 같은 다른 이점도 제공합니다. 이러한 개선 사항은 성능을 향상시킬 뿐만 아니라 소프트웨어의 저장 및 관리도 최적화합니다.

RTX용 TensorRT는 6월에 공식 출시될 예정입니다. NVIDIA는 또한 AI SDK를 지속적으로 확장하고 있으며 현재 150개 이상의 AI SDK에 대한 지원을 제공하고 있습니다. LM Studio, Topaz Video AI, Bilibili, AutoDesk VRED 및 Chaos Enscape를 포함하여 5개의 새로운 ISV 통합이 이번 달에 출시될 예정입니다.