요약:
Apple은 Apple Silicon 칩이 장착된 Mac 컴퓨터를 개인 AI 추론 서버로 전환하는 것을 목표로 하는 Harbour라는 새로운 애플리케이션을 개발하고 있습니다. 기존 로컬 AI 소프트웨어와 달리 Harbour는 단일 Mac에서 대규모 언어 모델을 실행할 수 있을 뿐만 아니라 Thunderbolt 5 인터페이스를 통해 여러 Mac을 연결할 수 있어 다양한 장치의 통합 메모리를 더 큰 컴퓨팅 리소스 풀로 통합하여 단일 컴퓨터가 독립적으로 수용할 수 없는 AI 모델을 실행할 수 있습니다.
11월 10일 MacRumors 보고서에 따르면 이 애플리케이션은 현재 Apple 자회사인 Claris에서 테스트 중이며 아직 공식적으로 대중에게 공개되지 않았습니다. Claris의 가장 유명한 제품은 기업 사용자를 위한 FileMaker 데이터베이스 플랫폼이므로 Harbor는 향후 민감한 데이터를 처리해야 하는 기업, 개발자 및 전문 사용자를 주로 대상으로 할 수 있습니다.
Harbor의 핵심 포지셔닝은 사용자가 클라우드 서버에 의존하지 않고도 Mac 컴퓨터에 개방형 인공 지능 모델을 배포할 수 있도록 하는 것입니다. 현재 공개된 제품 소개에 따르면 모든 AI 추론 프로세스는 로컬 하드웨어에서 완료될 수 있으며 사용자가 제출한 문서, 질문 및 기타 데이터를 외부 클라우드 서비스에 업로드할 필요가 없습니다.
이는 기업 사용자에게 특히 중요합니다. 많은 기업에서는 대규모 언어 모델을 사용하여 내부 문서를 분석하고 코드를 작성하거나 비즈니스 정보를 처리하기를 원하지만 고객 데이터, 금융 정보 및 비즈니스 비밀을 제3자 AI 서비스 제공업체에 보내는 것을 꺼려합니다. Harbor는 기업이 자체 Mac 하드웨어를 직접 사용하여 AI 모델을 실행할 수 있도록 하여 로컬 배포 프로세스를 단순화하려고 합니다.
이 애플리케이션의 가장 주목할만한 기능은 Thunderbolt 5 인터페이스를 통해 여러 Mac으로 구성된 컴퓨팅 클러스터 구축을 지원한다는 것입니다.
Apple은 macOS Tahoe 26.2에 Thunderbolt 5를 기반으로 하는 RDMA(Remote Direct Memory Access) 지원을 추가했습니다. 이 기술을 사용하면 서로 연결된 Mac은 낮은 통신 오버헤드로 다른 장치에서 제공하는 메모리 리소스에 액세스할 수 있어 분산 AI 추론을 위한 조건이 생성됩니다.
예를 들어 64GB의 통합 메모리가 장착된 Mac은 매개변수 크기가 큰 특정 언어 모델을 독립적으로 로드하지 못할 수 있습니다. 그러나 메모리가 충분한 여러 대의 Mac이 연결된 경우 Harbor는 이러한 장치의 메모리 사용과 컴퓨팅 성능을 조정하여 단일 장치의 용량을 초과하는 모델을 실행할 수 있습니다.
그러나 이러한 종류의 메모리 풀링이 여러 Mac의 메모리가 하드웨어 수준에서 로컬 시스템의 통합 메모리와 완전히 동일한 저장 공간이 된다는 것을 의미하지는 않습니다. 장치 간 액세스에는 여전히 Thunderbolt 인터페이스를 통해 데이터를 전송해야 하는데, 이 인터페이스의 대기 시간과 대역폭은 칩 내부의 통합 메모리 아키텍처와 다릅니다. 따라서 실제 성능은 여전히 모델이 다양한 장치에 배포되는 방식과 시스템이 컴퓨팅 작업을 조정하는 방식에 따라 달라집니다.
대규모 모델을 실행하는 것 외에도 다중 시스템 클러스터는 동시 처리 기능을 향상시킬 수도 있습니다. 동시에 여러 직원에게 AI 서비스를 제공해야 하는 기업의 경우, 단일 고성능 워크스테이션에 전적으로 의존하지 않고도 여러 Mac이 추론 요청을 공유할 수 있습니다.
Harbor는 또한 로컬 AI 배포에서 오랫동안 지속되어 온 복잡한 구성 문제를 해결하려고 시도합니다.
현재 사용자는 LM Studio 및 Ollama와 같은 도구를 통해 Mac에서 개방형 모델을 실행할 수 있지만 여러 컴퓨터를 클러스터에 연결하려면 일반적으로 추가 소프트웨어를 설치하고, 네트워크를 구성하고, 모델 샤딩을 관리하고, 서로 다른 장치 간의 통신 문제를 해결해야 합니다.
공개된 기능 설명에 따르면 Harbour는 Thunderbolt 5를 통해 연결된 Mac 장치를 자동으로 식별하고 클러스터 설정을 지원할 수 있습니다. 사용자는 장치를 연결하고 애플리케이션을 시작하기만 하면 시스템이 자동으로 필요한 구성을 완료합니다. 명령줄을 사용하거나 전문적인 서버 관리 경험이 필요하지 않습니다.
모델 관리 측면에서 Harbor는 그래픽 작업 인터페이스도 제공하므로 사용자가 오픈 웨이트 모델을 직접 찾아보고 다운로드하고 로드할 수 있습니다. 이 애플리케이션은 모델 파일 관리 및 실행 구성을 처리하므로 사용자는 실제 작업에 집중할 수 있습니다.
이 디자인은 LM Studio의 사용 편의성과 다중 시스템 분산 추론 기능을 결합한 것과 동일합니다. 복잡한 AI 인프라에 익숙하지 않은 사용자의 경우 최종 제품이 이러한 기능을 달성할 수 있다면 대규모 언어 모델의 로컬 배포에 대한 임계값이 크게 낮아질 것입니다.
그러나 AI 모델을 실행하기 위해 여러 대의 Mac을 연결하려는 프로젝트는 Harbor가 처음이 아닙니다. 이전에는 여러 장치를 사용하여 AI 추론 작업을 공동으로 수행할 수 있는 오픈소스 도구인 Exo가 등장했습니다. 이번에 Apple이 개발한 Harbor의 더 중요한 차이점은 macOS의 기본 기능과의 통합과 일반 기업 사용자를 위한 보다 단순화된 운영 환경을 제공한다는 점일 것입니다.
현재 Harbor는 아직 초기 테스트 단계에 있습니다. 이전에는 해당 앱이 앱스토어에 잠시 등장했으나 이후 관련 페이지가 삭제됐다. Apple은 아직 제품이 언제 출시될지 또는 무료로 제공될지 여부를 공식적으로 발표하지 않았습니다.
Harbor의 조기 액세스 애플리케이션 페이지에는 회사 이름이 필요하며, 이는 Apple이 모든 Mac 사용자가 즉시 다운로드할 수 있는 일반 도구가 아닌 기업 시장용 제품을 먼저 출시할 수도 있음을 시사합니다.
하드웨어 관점에서 이 애플리케이션은 대용량 메모리를 갖춘 Mac 컴퓨터의 애플리케이션 시나리오를 더욱 확장할 수도 있습니다. Apple의 통합 메모리 아키텍처를 사용하면 CPU와 GPU가 동일한 메모리 풀을 공유할 수 있으므로 대규모 언어 모델을 실행할 때 대용량 통합 메모리를 탑재한 Mac Studio와 Mac mini를 일부 개발자가 선택하여 로컬 AI를 배포하게 되었습니다.
Harbour를 통해 여러 Mac을 편리하게 함께 실행할 수 있다면 기업은 매번 더 높은 구성과 더 비싼 독립 워크스테이션을 구매할 필요 없이 필요에 따라 점차적으로 장비를 추가할 수 있습니다.
그러나 현재 하버가 공개하는 주요 기능은 대형 모델의 완전한 훈련이 아닌 AI 추론이라는 점에 유의해야 합니다. 추론에는 주로 훈련된 모델을 로드하고 답변을 생성하는 작업이 포함되지만, 훈련에는 많은 추가 계산, 기울기 동기화 및 매개변수 업데이트 작업이 필요합니다. 하드웨어와 통신 시스템에 대한 요구 사항에는 분명한 차이가 있습니다.
이 기술은 두 대의 Mac이 직접 고성능 AI 클러스터를 형성할 수 있다는 의미는 아닙니다. 기존 제품 소개에 따르면 다중 머신 메모리 풀링 기능은 Thunderbolt 5에 의존하므로 호환되는 인터페이스를 갖춘 Mac에서만 이 연결 방법을 사용할 수 있습니다. Thunderbolt 5를 지원하지 않는 구형 장치의 경우 현재 Harbour가 동일한 클러스터링 기능을 제공할 것이라는 증거는 없습니다.
하버가 마침내 공식적으로 출시된다면 이는 Apple이 국내 AI 인프라 소프트웨어 시장에 더욱 직접적으로 참여하기 시작한다는 의미입니다. 과거 Apple은 주로 Apple Silicon 칩과 macOS를 통해 타사 AI 개발 도구를 위한 하드웨어 및 시스템 기반을 제공했습니다. Harbour를 통해 Apple은 모델 다운로드 및 배포부터 다중 시스템 작동까지 완전한 솔루션 세트를 제공할 수 있습니다.
이 모델은 내부 네트워크 내에서 AI를 실행하고 민감한 데이터가 로컬 장치에 유출되는 것을 방지하려는 기업에 실용적인 매력을 제공합니다. 그러나 Apple이나 Claris는 Harbour가 궁극적으로 지원할 수 있는 모델, 클러스터를 구성할 수 있는 Mac 수, 실제 추론 성능이 무엇인지, 충전 모델을 채택할지 여부에 대한 자세한 내용을 발표해야 합니다.
댓글