언론 보도에 따르면 애플은 최근 DRAM 사용 가능 용량을 초과하는 기기에서 LLM(Large Language Model)을 실행할 수 있는 방법을 소개하는 논문을 발표했습니다. 이 새로운 연구는 메모리 크기가 2배인 LLM을 실행하는 제한된 용량의 장치를 지원하며 GPU 추론 속도는 수십 배 증가할 수 있습니다. 언론에 따르면 iOS18에 생성 AI를 통합하려는 애플의 계획이 가속화될 수도 있다.
이 새로운 연구는 메모리 사용 효율성을 크게 향상시켜 용량이 제한된 장치에서 메모리 크기를 2배로 늘려 LLM을 실행할 수 있도록 지원하고 GPU 추론 속도를 수십 배 향상시킬 수 있습니다.
논문에 따르면 LLM의 집약적인 계산 및 메모리 요구 사항은 DRAM 용량에 있어 큰 과제입니다. 이 백서는 플래시 메모리에서 전송되는 데이터 양을 줄이고 데이터 블록을 점점 더 원활하게 읽는 두 가지 핵심 영역에서 최적화될 플래시 메모리 기반 추론 비용 모델을 구축합니다.
이는 이 획기적인 연구가 LLM의 적용 가능성과 접근성을 확장하고 iOS18에 생성 AI를 통합하려는 Apple의 계획이 가속화될 수 있음을 의미합니다.
LLM을 휴대폰에서 실행할 수 있나요?
일반적으로 DRAM은 우리가 흔히 '메모리'라고 부르는 것이고, 플래시(플래시 메모리)는 하드디스크를 말합니다.
데이터를 계산할 때 CPU는 일반적으로 DRAM을 "중간 브리지"로 사용하여 하드 디스크에서 메모리로 데이터를 복사한 다음 메모리에서 데이터 처리를 수행합니다. 이렇게 하면 속도가 수백만 배까지 증가할 수 있습니다.
그러나 용량 측면에서 DRAM은 하드 드라이브보다 크기가 훨씬 작습니다. LLM이 실행되면 엄청난 양의 데이터를 동시에 처리해야 하므로 용량이 제한된 장치에는 큰 과제가 됩니다.
그러나 본 논문에서 제안한 새로운 프레임워크는 한계점을 찾은 것으로 보입니다. 이 프레임워크는 모델 매개변수를 플래시 메모리에 저장한 후 필요할 때 데이터를 DRAM으로 전송하도록 설계되어 LLM 실행 시 데이터 처리량이 DRAM의 가용 용량을 초과하는 문제를 해결합니다.
구체적으로 Apple은 주로 두 가지 기술을 사용합니다.
(1) "윈도우잉" 기술: 이전에 활성화된 뉴런을 재사용하여 데이터 전송을 줄입니다.
(2) "라우트 및 행 번들링" 기술: 플래시 메모리의 데이터 특성에 따라 데이터 블록에 액세스하는 순서를 맞춤화하여 플래시 메모리에서 읽는 데이터 블록의 크기를 늘립니다.
이 논문에서는 70억 개의 매개변수 모델이 반정밀도 부동 소수점 형식으로 매개변수를 로드하려면 14GB 이상의 메모리가 필요하다고 언급하고 있는데, 이는 대부분의 네트워크 엔드포인트의 기능을 뛰어넘는 것입니다. 그러나 이 프레임워크를 통해 데이터 전송을 최소화하고 플래시 메모리 처리량을 최대화함으로써 데이터 부하를 줄이고 메모리 사용 효율성을 향상시킬 수 있습니다.
연구 결과에 따르면 기존 로딩 방법과 비교하여 이 프레임워크는 DRAM 크기의 두 배에 달하는 모델을 지원하며 추론 속도는 CPU와 GPU에서 각각 4~5배, 20~25배 증가할 수 있습니다. 연구팀은 기사 말미에서 다음과 같이 결론을 내렸습니다.
"이 획기적인 기술은 리소스가 제한된 환경에서 고급 LLM을 배포하여 LLM 적용 가능성과 접근성을 확장하는 데 특히 중요합니다."
거대 휴대전화 기업, AI를 목표로 삼다
AI 트렌드에 맞춰 주요 휴대폰 제조사들은 '인공지능+휴대폰'을 탑재하기 시작했다.
이전 시장 뉴스에 따르면, 애플은 iOS18에 AI를 도입할 예정이며, 주로 Siri 및 커뮤니케이션 애플리케이션의 지능형 질문 답변, 문장 생성 등의 기능을 위해 사용될 예정입니다. 또한 Apple은 Apple Music, Page, Keynote 및 Xcode와 같은 애플리케이션에서 AI의 잠재력을 탐색하고 있습니다.
삼성전자는 지난 11월 초 생성 AI 모델 '삼성가우스(SamsungGauss)'를 출시했다. 보도에 따르면 이 모델은 2024년 초 출시될 갤럭시 S24 휴대폰 시리즈에 포함될 예정이다. 삼성의 노트북과 태블릿에도 해당 모델이 탑재될 가능성이 있다.
Google의 Gemini 모델(Gemini)도 Google 제품에 통합됩니다. 지난 11월 Google은 Gemini 1.0이 Google 제품에 점진적으로 출시될 것이라고 공식 발표했습니다. Gemini Pro는 고급 추론 및 계획을 위해 Bard에 통합됩니다. Gemini Nano는 Pixel8 Pro 스마트폰의 기능을 지원합니다.