요약:
인공지능 프로세서가 대중화되면서 AI 컴퓨팅에 특별히 사용되는 신경망 처리 장치(NPU)가 탑재되는 PC가 점점 더 많아지고 있습니다. 그러나 이러한 유형의 하드웨어는 현재 로컬 AI 모델 추론 및 이미지 처리에 주로 사용되며, 일상적인 Windows 데스크톱은 여전히 통합 그래픽 카드 또는 독립 그래픽 카드를 사용하여 그래픽 렌더링을 완료합니다.
최근 labscommunity라는 개발팀은 오픈 소스 프로젝트 npu-driver를 출시하여 다소 특별한 실험을 성공적으로 구현했습니다. 즉, Windows 11에서 기존 GPU에 의존하는 대신 NPU를 통해 완전히 데스크톱 그래픽 합성을 완료할 수 있도록 허용하는 것입니다. 현재 실행 속도는 극도로 느리지만, 이 결과는 원래 주로 인공 지능 계산에 사용되었던 NPU가 일부 전통적인 그래픽 처리 작업도 수행할 수 있음을 입증합니다.
이 프로젝트는 Apache 2.0 오픈 소스 라이선스에 따라 라이선스가 부여되었으며 소스 코드는 GitHub에 공개적으로 공개되었습니다. 개발팀의 목표는 다음과 같은 질문을 탐색하는 것입니다. 원래 GPU에서 완료한 데스크톱 렌더링 작업을 Windows 애플리케이션 및 데스크톱 컴포지터를 수정하지 않고도 완전히 NPU로 전송할 수 있습니까?
이 목표를 달성하기 위해 개발자는 원래 Windows DWM(데스크톱 창 관리자)이 그래픽 카드로 보낸 그래픽 작업을 가로채고 이러한 작업을 NPU가 처리할 수 있는 컴퓨팅 작업으로 변환하는 특수 디스플레이 드라이버를 설계했습니다.
Windows 애플리케이션은 여전히 전통적인 방식으로 실행됩니다. 메모장, 파일 탐색기, 시작 메뉴, Microsoft Edge 및 기타 창에는 NPU에 대한 특별한 적응이 필요하지 않습니다. 실제로 변경된 것은 기본 그래픽 처리 경로입니다. 원래 GPU에서 수행했던 데스크탑 합성 작업이 NPU에 다시 할당되었습니다.
구체적인 구현 측면에서 npu-driver는 사용자 정의 Direct3D 10 사용자 모드 드라이버를 사용하여 그래픽 작업을 프레임 데이터 배치로 기록한 다음 OpenVINO 및 전용 SHAVE 컴퓨팅 코어를 통해 처리하기 위해 Intel NPU로 전달합니다. 또한 시스템은 정점 처리, 텍스처 샘플링, 레이어 블렌딩과 같은 기존 그래픽 작업을 담당하는 자체 래스터화 처리 모듈을 구현합니다.
현재 이 솔루션은 Intel Panther Lake 프로세서가 장착된 노트북에서 테스트되었습니다. Panther Lake는 5세대 NPU 아키텍처를 사용하며 관련 프로세서의 NPU 컴퓨팅 성능은 45~50TOPS에 이릅니다.
그러나 실험 결과는 성능이라는 매우 명백한 문제도 드러냈습니다.
npu-driver의 현재 데스크톱 새로 고침 속도는 초당 2~3프레임에 불과하며 일부 테스트에서는 0.6프레임까지 낮습니다. 이에 비해 기본 Windows 데스크톱은 일반적으로 초당 60프레임 이상으로 실행됩니다. 게임이 포함되지 않더라도 창 이동, 파일 탐색기 열기, 작업 표시줄 조작만으로도 속도가 매우 느려질 수 있습니다.
즉, 이 솔루션은 현재 NPU가 완전한 데스크탑 그래픽 합성 작업을 수행할 수 있지만 일상적인 사용에 필요한 성능 수준과는 거리가 멀다는 것을 입증합니다.
개발자들은 새로 고침 빈도를 초당 30프레임으로 높이는 것을 목표로 하고 있지만 아직 목표와는 거리가 멀습니다.
실험 중 심각한 실패를 방지하기 위해 개발팀에서는 자동 롤백 메커니즘도 설계했습니다. NPU 드라이버에 오류가 발생하거나 사용자가 적극적으로 전환을 요청하는 경우 시스템은 통합 그래픽 카드 또는 독립 그래픽 카드를 재사용하여 그래픽 렌더링을 완료할 수 있습니다. 그러나 이 복구 메커니즘에는 여전히 몇 가지 제한 사항이 있습니다. 일부 테스트에서는 모든 애플리케이션 창의 위치를 완전히 복원하지 못했습니다.
프로젝트 개발자는 npu-driver가 현재 소비자를 위한 성숙한 제품이 아니라 연구용 프로토타입일 뿐임을 강조했습니다. 특정 Intel Panther Lake 하드웨어, 호환 가능한 NPU 드라이버 및 추가 개발 도구가 필요합니다. 일반 사용자는 간단히 설치하고 GPU 없이 Windows 11 시스템을 실행할 수 없습니다.
이 실험의 의미는 실제로 NPU가 그래픽 카드를 대체할 수 있다는 것을 증명하는 것이 아니라 최신 프로세서 내에서 다양한 컴퓨팅 장치의 작업을 재분배하는 방법을 탐색하는 것입니다.
오늘날의 CPU, GPU, NPU는 각각 서로 다른 설계 목표를 가지고 있습니다. GPU는 대규모 병렬 그래픽 컴퓨팅에 능숙하고 NPU는 행렬 연산 및 신경망 추론에 특별히 최적화되어 있습니다. NPU가 데스크탑 렌더링 작업을 맡게 한다는 것은 개발자가 기존 그래픽 처리 프로세스를 신경망 컴퓨팅 장치에 적합한 작업으로 다시 변환해야 함을 의미하며, 이는 그 자체로 매우 복잡한 프로젝트입니다.
그러나 향후 처리 효율성이 크게 향상될 수 있다면 NPU는 원래 GPU가 수행했던 가벼운 데스크톱 작업 중 일부를 처리하여 게임, 비디오 처리 또는 로컬 AI 추론을 위한 GPU 리소스를 확보할 수 있습니다.
현재 npu-driver는 아직 실용화되려면 아직 멀었지만 흥미로운 기술 검증을 완료했습니다. Windows 11 데스크톱은 기존 GPU를 통해 합성 렌더링만 할 수 있는 것이 아닙니다. 최신 프로세서의 NPU도 이 작업을 대신할 수 있지만 이 단계에서 지불하는 성능 대가는 너무 큽니다.
자세히 알아보기:
https://github.com/labscommunity/npu-render
댓글