요약:
소니는 최근 그래픽 카드가 렌더링을 완료하기 전에 AI를 사용하여 게임의 다음 프레임을 예측함으로써 화면 지연을 줄이고 일부 기존 프레임 생성 기술로 인해 발생하는 추가적인 지연 문제를 방지하는 새로운 인공 지능 기술 특허를 제출했습니다. 특허 설명에 따르면 시스템은 가장 최근에 렌더링된 프레임과 플레이어의 최신 컨트롤러 입력 정보를 기반으로 미리 예측 사진을 생성하고 다음 프레임이 공식적으로 렌더링되기 전에 플레이어에게 표시할 수 있습니다.
이 기술은 주로 현재 부분 프레임 생성 방식의 결함을 겨냥합니다. 많은 기존 솔루션에서는 두 프레임 사이에 보간된 프레임을 계산하고 생성하기 전에 두 개의 완성된 프레임을 얻어야 하며, 두 번째 프레임이 완료될 때까지 기다리는 프로세스로 인해 추가 지연이 발생합니다. Sony의 새로운 방법은 이 대기 단계를 건너뛰고 두 프레임 사이를 보간하는 대신 기존 사진을 직접 사용하여 미래 사진을 예측하려고 시도합니다.
이론적으로 이 방법을 사용하면 렌더링 부하가 증가하고 프레임 속도가 저하될 때 보다 부드러운 영상 출력을 유지할 수 있을 것으로 예상됩니다. 하지만 특허 문서에는 구체적인 성능 테스트 결과가 나와 있지 않아 지연 시간 개선과 최종 화질에 미치는 실제 영향은 아직 검증되지 않았다.
기술적 구현 관점에서 Sony는 공동으로 훈련된 인코더와 디코더 아키텍처를 설계했습니다. 인코더는 렌더링된 이미지를 임베딩 벡터인 간단한 수치 표현으로 변환하는 역할을 합니다. 그런 다음 디코더는 이 데이터를 기반으로 예측 이미지를 생성합니다.
게임이 실행되는 동안 시스템은 그래픽 렌더링 파이프라인과 동기화되어 작동합니다. 하드웨어가 다음 프레임을 렌더링할 때 AI는 이전 프레임을 동시에 처리하고 예측 결과를 디스플레이 버퍼로 보냅니다. 이렇게 하면 실제 렌더링된 프레임이 완료되기 전에 예측된 프레임이 표시되어 렌더링 공백을 채울 수 있습니다.
또한 특허에는 모델이 모션 벡터와 최신 컨트롤러 입력 데이터를 사용하여 예측 정확도를 향상시킬 수 있다고 언급되어 있습니다. 모션 벡터는 이미지 내 개체의 이동 방향과 속도를 반영할 수 있으며, 주요 작업은 플레이어의 최신 행동 의도를 반영할 수 있습니다. 둘 다 이전 프레임보다 더 많은 정보를 AI에 제공할 수 있습니다.
학습 단계에서는 연속 동영상 프레임을 데이터 소스로 사용합니다. 신경망은 먼저 임의의 가중치로 학습을 시작하고, 이미지의 한 프레임을 입력으로 받아 다음 프레임을 예측한 후 예측 결과를 실제 후속 프레임과 비교하고 손실 값을 통해 오류를 측정하며 지속적으로 모델을 최적화합니다.
특허 설명에 따르면 시스템은 훈련 과정에서 손실 값이 설정된 임계값에 도달하는지 여부를 지속적으로 감지합니다. 연속 비디오 자체가 실제 참조 이미지를 제공할 수 있으므로 전체 교육 프로세스에는 수동 데이터 주석이 필요하지 않습니다. 또한 디코더는 인코더가 수신하는 것보다 더 많은 색상 채널을 출력합니다. 즉, 시스템은 앞으로 한 번에 여러 예측 프레임을 생성할 수 있습니다.
소니는 AI 솔루션 외에도 비인공지능 대안도 제시했다. 이 방식은 학습된 인코더 및 디코더 모델을 사용하지 않고 모션 정보를 기반으로 픽셀 블록을 이동하여 합성 프레임을 생성합니다. 특허 문서에는 이러한 기술이 고정된 프레임 출력 속도를 유지하면서 화질 저하를 방지할 것으로 기대되지만 생성된 프레임이 실제로 네이티브 렌더링과 유사한 시각적 효과를 얻을 수 있는지 여부는 아직 알려지지 않았습니다.
업계 관계자들은 이 기술의 핵심 테스트는 AI가 충분히 빠른 속도로 예측 이미지를 정확하게 생성하고 렌더링 성능이 저하될 때 적시에 디스플레이 빈 공간을 채울 수 있는지 여부라고 믿습니다. 특허는 실현 가능한 아이디어를 보여주지만 실제 효과는 향후 제품이나 기술 시연을 통해 검증해야 합니다.
댓글