요약:
프로젝트 개발자에 따르면 Nvidia의 GPU 가속 프레임 보간 기능이 Vulkan API를 통해 FFmpeg에 통합되었습니다. FFmpeg는 YouTube를 포함한 수많은 최신 멀티미디어 처리 플랫폼, 서비스 및 애플리케이션을 지원하는 널리 사용되는 소프트웨어 도구 세트입니다.
이 새로운 기능을 통해 FFmpeg는 NVIDIA GeForce RTX 그래픽 카드를 호출하여 기존 그래픽 렌더링 프로세스를 거치지 않고도 다음 프레임을 예측하고 생성할 수 있습니다. NVIDIA는 이 기능을 비디오 인코딩으로 확장하여 사용자가 프레임 생성 기술을 통해 비디오 프레임 속도를 높일 수 있도록 합니다. NVIDIA 그래픽 카드의 NVOFA(Optical Flow Accelerator)는 그래픽 렌더링에 사용되는 광학 흐름 논리를 비디오에 적용하고 다음 프레임을 예측하며 인공 지능이 생성한 중간 프레임을 통해 비디오 프레임 속도를 향상시킵니다. NVIDIA는 이 프로세스를 "FRUC(엔진 지원 프레임 속도 향상 변환)"이라고 부릅니다.
FRUC는 전통적인 의미의 단순한 영상 평활화 알고리즘이 아닙니다. NVIDIA의 전용 광학 흐름 가속기를 사용하여 연속 소스 프레임 간의 모션 정보를 계산합니다. NVENC는 인코딩 측에서 프레임 데이터를 제공하는 역할을 하며, 광학 흐름 하드웨어는 사진 속 객체의 움직임을 설명하는 모션 벡터를 생성합니다. 그런 다음 FFmpeg는 이 모션 정보를 기반으로 중간 프레임을 합성하여 원본 콘텐츠를 다시 렌더링하지 않고도 비디오 프레임 속도를 효과적으로 높일 수 있습니다.
이 방식은 소프트웨어로 구현된 프레임 보간보다 효율적이기도 합니다. 순수 소프트웨어 보간은 일반적으로 CPU에 훨씬 더 높은 계산 요구 사항을 적용합니다. 새로운 Vulkan 구현을 통해 FFmpeg는 2023년에 제출된 이전 패치가 프로젝트에 병합되지 못하게 만든 독점 소프트웨어 종속성을 피하면서 NVIDIA 하드웨어에 직접 액세스할 수 있습니다.
NVIDIA는 원래 GeForce RTX 20 시리즈 'Turing' 아키텍처 시대에 광학 흐름 가속기를 출시했습니다. 그러나 Vulkan API를 기반으로 한 현재 구현은 공식적으로 GeForce RTX 30 시리즈 "Ampere" 및 최신 모델만 지원합니다. 따라서 이 새로운 기능은 GeForce RTX 30, RTX 40 및 RTX 50 시리즈 그래픽 카드 사용자가 사용할 수 있습니다.
GPU 지원 프레임 보간을 통해 비디오 프레임 속도를 두 배로 늘릴 수 있습니다. 30프레임 비디오를 60프레임으로 표시할 수 있고, 영화에서 흔히 볼 수 있는 24프레임 비디오를 48프레임으로 늘릴 수 있습니다. 이 기능을 사용하려면 사용자는 FFmpeg 도구를 로컬로 실행하기만 하면 됩니다.
댓글