요약:
Sony PlayStation 5는 원래 비디오 게임용 콘솔로 설계되었지만 오픈 소스 개발 프로젝트에서는 이 게임 장치의 또 다른 용도를 찾으려고 노력하고 있습니다. 바로 로컬 인공 지능 대규모 언어 모델을 실행하는 것입니다. PS5의 시스템 한계를 극복함으로써 개발자들은 오픈 소스 추론 엔진 llama.cpp를 콘솔에 이식하고 GPU를 사용하여 대규모 모델을 실행했습니다. 최신 시연에서는 크랙이 발생한 일반 PS5가 이미 270억 개의 매개변수를 사용하여 Qwen 3.8 모델을 실행할 수 있음을 보여줍니다. 낮은 비트 양자화를 사용하면 텍스트 생성 속도가 초당 약 20개 토큰에 도달합니다.
이는 원래 게임을 실행하는 데 사용된 호스트가 클라우드 AI 서비스에 의존하지 않고도 로컬 대규모 언어 모델 서버 역할도 할 수 있다는 것을 의미합니다. 사용자는 동일한 LAN에 있는 컴퓨터나 휴대폰을 통해 호스트의 서비스에 접속하고 모델과 대화할 수 있습니다. 그러나 이는 Sony에서 공식적으로 제공하는 기능이 아니라 시스템 취약점, 비공식 소프트웨어 및 커뮤니티 개발 결과에 의존하는 실험적인 응용 프로그램입니다.
이 프로젝트는 PS5LM이라고 하며 GitHub 개발자 cobanov가 시작했습니다. 이 프로젝트의 핵심 아이디어는 새로운 인공지능 추론 프레임워크를 처음부터 작성하는 것이 아니라, 로컬 대형 모델을 실행하는 데 널리 사용되는 오픈 소스 도구인 llama.cpp를 PS5 플랫폼에 이식한 다음 호스트 운영 체제, 메모리 할당 및 GPU 컴퓨팅 인터페이스의 호환성 문제를 점진적으로 해결하는 것입니다.
PS5는 AMD의 맞춤형 프로세서를 사용합니다. CPU는 Zen 2 아키텍처를 사용하며 8개의 코어를 가지고 있습니다. GPU는 AMD RDNA 아키텍처를 기반으로 합니다. 호스트에는 16GB GDDR6 통합 메모리가 장착되어 있으며 CPU와 GPU는 이러한 리소스를 공유해야 합니다. PS5는 인공 지능 추론을 위해 특별히 설계된 장치는 아니지만 GPU와 고대역폭 비디오 메모리는 현지 언어 모델을 실행하기 위한 하드웨어 기반을 제공합니다.
PS5LM은 초기에 상대적으로 간단한 작동 모드를 채택하여 언어 모델이 호스트 CPU를 통해 추론을 수행하고 PS5 자체 브라우저를 사용하여 채팅 인터페이스를 제공할 수 있도록 했습니다. 사용자는 호스트에서 모델을 다운로드하고 DualSense 컨트롤러와 화면 키보드를 통해 질문을 입력한 다음 모델에서 생성된 답변을 볼 수 있습니다.
이 초기 빌드에서는 대규모 언어 모델을 실행할 수 있는 PS5의 능력이 입증되었지만 곧 성능 및 메모리 제한에 직면하게 되었습니다. 프로그램은 페이로드 형태로 실행되기 때문에 시스템 환경에 따라 사용할 수 있는 메모리가 제한된다. 처음에는 작은 모델만 안정적으로 실행할 수 있습니다. 프로젝트 문서에 따르면 초기 버전은 주로 매개변수 크기가 약 0.8B 및 2B인 모델을 지원하며, 2B 모델의 생성 속도는 초당 약 9토큰입니다.
PS5에서 더 큰 모델을 실행하려는 개발자의 경우 단순히 프로그램을 CPU에서 실행시키는 것만으로는 충분하지 않습니다. 호스트의 하드웨어 성능을 최대한 활용하려면 추론 엔진이 GPU를 호출하고 모델 매개변수, 캐시 및 기타 실행 데이터를 저장할 수 있는 충분한 메모리 공간을 확보할 수 있어야 합니다.
진정한 혁신은 GPU 가속화에서 비롯됩니다. 개발자는 PS5에서 기본 애플리케이션 실행 환경을 추가로 구현했으며 커뮤니티에서 개발한 그래픽 드라이버와 Vulkan 컴퓨팅 인터페이스를 통해 llama.cpp는 호스트 GPU를 호출하여 신경망 계산을 수행할 수 있습니다. CPU에만 의존할 수 있었던 이전 솔루션과 비교할 때, 이 변경으로 추론 속도가 향상될 뿐만 아니라 프로그램이 더 큰 모델을 실행하기 위해 더 많은 사용 가능한 메모리를 확보할 수 있습니다.
최근 시연에서 PS5는 Alibaba Tongyi Qianwen 팀이 출시한 Qwen 3.8 27B 모델을 성공적으로 실행했습니다. 이 모델에는 270억 개의 매개변수가 있으며 하이브리드 어텐션 아키텍처를 사용합니다. 설계 목표는 상대적으로 제한된 하드웨어 리소스에서 강력한 언어 이해, 추론 및 코드 생성 기능을 제공하는 것입니다.
그러나 PS5는 270억 개의 매개변수를 완전한 정밀도로 메모리에 직접 로드하지 않습니다. 호스트의 하드웨어 조건에 모델을 적용하기 위해 개발자는 낮은 비트 양자화 기술을 사용하여 모델 매개변수를 더 작은 저장 공간으로 압축했습니다. 시연에서는 IQ2_XXS와 같은 양자화 버전을 사용하며 모델 파일은 수 GB~7GB 정도이며 구체적인 크기는 양자화 방식에 따라 다릅니다.
정량화는 대규모 로컬 모델을 실행하는 데 핵심 기술입니다. 일반적으로 모델 매개변수는 정밀도가 높은 데이터 형식을 사용하여 저장되지만 이는 많은 메모리를 소비합니다. 매개변수를 더 낮은 비트 폭 값으로 압축하면 메모리 요구 사항을 크게 줄이고 추론 중 데이터 전송량을 줄일 수 있습니다. 비용은 일부 정밀 정보가 손실되어 모델의 답변 품질, 추론 능력 또는 특정 작업 성능에 영향을 미칠 수 있다는 것입니다. 따라서 270억 개의 매개변수 모델을 실행할 수 있다고 해서 PS5가 동일한 크기의 모델을 최대 정확도로 실행할 수 있다는 의미는 아닙니다.
개발자가 공개한 테스트 데이터에 따르면 GPU를 사용하여 추론을 수행할 때 Qwen 3.8 27B의 텍스트 생성 속도는 초당 약 20개의 토큰에 도달할 수 있습니다. 토큰은 텍스트를 처리하는 대규모 언어 모델의 기본 단위입니다. 엄밀히 말하면 한자나 영어 단어와 동일하지는 않습니다. 그러므로 초당 20개의 토큰은 단순히 초당 20개의 한자를 생성한다는 의미로 이해될 수 없습니다. 그럼에도 불구하고 이는 단지 모델이 제대로 작동할 수 있음을 입증하는 기술 시연이 아니라 대화형 대화가 어느 정도 실용성을 갖기에는 충분히 빠릅니다.
동일 프로젝트에서는 Qwen 모델 외에도 다른 모델의 테스트 결과도 발표했습니다. Gemma 4 E4B는 초당 약 61개의 토큰을 생성하는 반면 Llama 3.2 3B는 초당 약 124개의 토큰을 생성합니다. 소형 모델은 매개변수 수가 적고 계산 및 데이터 읽기가 더 적기 때문에 일반적으로 더 높은 생성 속도를 달성합니다.
이러한 결과는 통합 테스트 플랫폼에 의해 검증된 업계 벤치마크가 아니라 특정 소프트웨어 및 하드웨어 구성에서 개발자가 게시한 테스트 결과로 간주되어야 합니다. 모델마다 매개변수 척도, 수량화 방법, 컨텍스트 길이 및 컴퓨팅 작업이 다릅니다. 초당 생성되는 토큰 수만으로는 그들의 포괄적인 능력을 판단할 수 없습니다.
이 프로젝트는 또한 PS5를 LAN AI 서버로 변환할 가능성도 보여줍니다. 호스트에서 OpenAI API 호환 서비스 인터페이스를 실행하면 다른 장치가 동일한 네트워크를 통해 요청을 보내고 모델에서 생성된 답변을 얻을 수 있습니다. 이런 방식으로 사용자는 콘솔을 조작하기 위해 항상 TV 화면을 마주할 필요가 없으며, 컴퓨터나 휴대폰을 통해 PS5의 로컬 모델에 전화를 걸 수도 있습니다.
이 접근 방식은 홈 네트워크에 로컬 AI 서비스를 배포하려는 사용자에게 매력적입니다. 모델이 로컬에서 실행되는 경우 원칙적으로 일상 대화 내용을 타사 클라우드 AI 서비스로 전송할 필요가 없으며 사용자는 호출 횟수에 따라 클라우드 추론 비용을 지불할 필요가 없습니다. 그러나 실제 개인 정보 보호는 여전히 설치된 소프트웨어, 네트워크 구성 및 장치에 다른 데이터 전송 동작이 있는지 여부에 따라 달라집니다. 단지 "로컬에서 실행"하는 것만으로는 시스템이 절대적으로 안전하다고 간주할 수 없습니다.
동시에 PS5LM 개발은 여전히 일련의 비공식 기술에 의존하고 있습니다. 사용자는 관련 크래킹 프로그램을 실행하고 호환 가능한 시스템 펌웨어 및 페이로드 로딩 도구를 사용할 수 있는 PS5가 필요합니다. 프로젝트 문서에 나열된 적용 가능한 펌웨어 범위는 7.00~13.60이지만, 특정 기능, 성능 및 호환성은 호스트 모델 및 소프트웨어 버전에 따라 다를 수 있습니다.
콘솔을 크래킹한다고 해서 모든 PS5 사용자가 프로그램을 직접 설치할 수 있는 것은 아닙니다. PS5의 일반 소매 버전은 일반 게임처럼 PlayStation Store를 통해 PS5LM을 다운로드하고 실행할 수 없습니다. 사용자는 먼저 시스템 액세스 권한, 비공식 프로그램 로딩 및 운영 환경과 같은 문제를 해결해야 하며, 이는 호스트 크래킹 및 소프트웨어 개발에 익숙하지 않은 사용자에게 여전히 특정 임계값을 제시합니다.
또한 호스트 시스템을 수정하면 보안 및 안정성 위험이 발생할 수 있고 온라인 서비스 사용에도 영향을 미칠 수 있으며 Sony의 관련 서비스 약관이 적용될 수 있습니다. 개발자는 자신이 소유하거나 승인한 장치에 대해서만 연구를 수행할 것을 권장합니다. 주로 일반 게임을 위해 사용하는 콘솔 사용자, 특히 플레이스테이션 네트워크에 자주 접속하는 사용자라면 로컬 AI를 실행하기 위해 굳이 기기를 해킹할 필요는 없다.
하드웨어 관점에서 본 실험의 의미는 단순히 게임 콘솔이 질문에 답할 수 있도록 하는 것에만 있는 것이 아닙니다. 이는 또한 소비자 수준의 게임 장비에 설치된 GPU 및 고속 비디오 메모리가 적절한 소프트웨어 적용 후 전용 AI 컴퓨팅 장비가 일반적으로 완료하는 작업의 일부를 수행할 수도 있음을 보여줍니다.
대규모 언어 모델 추론은 메모리 용량과 대역폭의 영향을 크게 받는 경우가 많습니다. 모델이 텍스트를 생성할 때 지속적으로 많은 수의 매개변수를 읽고 상황에 맞는 캐시를 유지해야 합니다. PS5의 통합 메모리 아키텍처를 사용하면 CPU와 GPU가 고속 메모리 리소스를 공유할 수 있지만 시스템 자체도 일부를 차지해야 하므로 모델이 사용할 수 있는 공간은 공칭 용량인 16GB보다 훨씬 적습니다.
이것이 개발자가 양자화, 메모리 관리, GPU 컴퓨팅 인터페이스와 같은 문제를 동시에 해결해야 하는 이유입니다. GPU가 충분히 강력하다고 해서 모델이 원활하게 실행된다는 보장은 없습니다. 모델 아키텍처가 지원되는지, 드라이버가 필요한 계산 작업을 수행할 수 있는지, 시스템이 추론 프로그램에 충분한 메모리를 제공할 수 있는지 여부가 모두 최종 결과에 영향을 미칩니다.
이 결과는 로컬 AI 하드웨어 선택에 대한 흥미로운 참고 자료도 제공합니다. 전통적으로 집에서 더 큰 언어 모델을 실행하려는 사용자는 별도의 그래픽 카드가 있는 컴퓨터를 구입하고 메모리 용량과 전체 시스템 비용에 대해 추가 비용을 지불해야 하는 경우가 많았습니다. PS5는 이미 상대적으로 강력한 GPU와 고속 메모리를 탑재하고 있어 개발자들은 전용 AI 워크스테이션을 구입하지 않고도 기존 게임 하드웨어를 재사용할 수 있다는 점을 증명하고 싶어합니다.
그러나 이것이 PS5가 AI 컴퓨터를 완전히 대체할 수 있다는 의미는 아닙니다. 하드웨어 리소스는 여전히 고정된 구성, 시스템 공간 및 비공식 소프트웨어 환경으로 인해 제한됩니다. 더 큰 그래픽 메모리, 성숙한 드라이버 및 풍부한 개발 도구를 갖춘 컴퓨터와 비교할 때 PS5는 대형 모델을 실행하기 위해 더 많은 기본 적응 작업이 필요하며 사용자는 일반 AI 컴퓨터처럼 그래픽 카드를 자유롭게 업그레이드하거나 그래픽 메모리를 확장할 수 없습니다.
실용적인 관점에서 볼 때 이 유형의 프로젝트는 현재 모델 추론, GPU 컴퓨팅 및 임베디드 운영 환경을 연구하기 위해 로컬 AI에 관심이 있는 기술 애호가, 오픈 소스 개발자 및 사용자에게 더 적합합니다. 프로덕션 수준의 AI 서비스를 안정적으로 실행해야 하는 기업의 경우 성숙한 소프트웨어 스택으로 최적화된 전용 GPU 서버 또는 컴퓨터가 여전히 더 적합합니다.
PS5LM의 개발은 오픈 소스 AI 생태계의 추세도 반영합니다. 모델 추론 프레임워크와 개방형 가중치 모델은 인공 지능 실행의 한계점을 점차 낮추는 반면, 커뮤니티 개발자는 이러한 도구를 다양한 하드웨어 플랫폼에 계속해서 이식하려고 노력하고 있습니다. 과거에는 게임 콘솔이 주로 폐쇄형 엔터테인먼트 장치로 간주되었습니다. 이제 크래킹 및 리버스 엔지니어링 커뮤니티의 노력 덕분에 GPU 컴퓨팅 및 기본 인공 지능 애플리케이션을 탐색하기 위한 플랫폼이 되었습니다.
일반적으로 크랙이 발생한 PS5에서 270억 개의 매개변수가 포함된 대규모 언어 모델을 초당 약 20개의 토큰 속도로 실행하도록 하는 것은 대표적인 기술적 시도입니다. 이는 게임 콘솔 하드웨어의 잠재적인 사용을 보여주고 소프트웨어 적응 및 모델 압축을 통해 특정 규모의 언어 모델이 비전통적인 AI 장치에서 실행될 수 있음을 입증합니다. 하지만 이 성과는 여전히 크랙 환경에 의존하는 커뮤니티 프로젝트이며, 일반 사용자가 복잡한 조작 없이 사용할 수 있는 공식 기능과는 여전히 상당한 거리를 두고 있다.
댓글