와인 저장고의 GPU: 기술 애호가들이 집에서 AI 컴퓨팅 성능을 비축하는 이유

요약:

워싱턴주 벨뷰의 조용한 동네에 위치한 게리 플렉(Gary Fleck)의 현대식 집 지하실은 모든 기능을 갖춘 남성용 여가 공간처럼 꾸며져 있습니다. 대형 스크린 모니터와 디지털 프로젝터 사이에 편안한 소파가 놓여 있고, 물레질 및 로잉 머신도 마련되어 있습니다. 하지만 이 방의 진짜 하이라이트는 7개의 Nvidia 고성능 그래픽 카드가 랙에 걸려 있는 거대한 조립 모델처럼 보이는 맞춤형 호스트입니다.

기술 매니아가 조립하는 고성능 AI 호스트를 집에 두고, 그 다음에는 골치 아픈 열 방출 문제가 있습니다

Flake는 이전에 Microsoft에서 근무했으며 여러 신생 기업의 창립자이기도 합니다. 그는 더 이상 추구하지 않는 스타트업의 일환으로 뇌의 전기 신호를 기록하는 테라바이트 규모의 뇌전도 데이터를 기반으로 맞춤형 AI 모델을 훈련하는 기계를 제작했습니다.

AI 모델을 훈련시키기 위해 그는 클라우드 서비스 제공업체로부터 데이터 센터의 산업용 등급 GPU 컴퓨팅 성능을 임대할 수도 있었습니다. 하지만 할인된 부품을 이용해 직접 설치하는 것이 훨씬 비용 효율적이라고 하더군요. 전체 장비의 총 비용은 6,000달러 미만으로, Amazon Cloud나 Microsoft Cloud에 월 사용료를 지불하는 것보다 훨씬 저렴합니다.

지하실의 열을 방출하고 AI 호스트에서 발생하는 막대한 열을 상쇄하기 위한 전기 개조 비용과 새로운 HVAC 시스템(총 1~20,000달러)을 포함하더라도 직접 설치하는 것이 여전히 비용 효율적입니다. "나는 내 손에 컴퓨팅 능력을 갖고 싶다"고 Flake는 말했습니다. Flake는 앞으로 몇 달 안에 이 컴퓨터를 재사용하여 새로운 프로젝트를 시작할 계획입니다. "나는 다른 사람의 컴퓨팅 능력을 임대하고 싶지 않습니다."

이번 AI 열풍 속에서 다락방, 지하실, 홈 오피스에서 로컬로 AI 워크로드를 실행하는 것은 예상치 못한 현상이 되었습니다. 주요 AI 기업은 대규모 컴퓨팅 성능에 대한 수요를 충족하기 위해 수만 개의 GPU로 가득 찬 대규모 원격 데이터 센터에서 대규모 모델을 훈련하고 실행합니다.

Gary Fleck의 집에 있는 GPU 장비

동시에

로컬 AI의 물결

가정 AI 기기는 단순히 멋진 홈 기능일 때도 있습니다. 지난달 Shopify CEO인 Toby Lütke는 자신의 집에 있는 수직형 서버 캐비닛 세 세트를 선보인 후 소셜 플랫폼에서 입소문을 냈습니다. 캐비닛은 분홍색 LED 조명 스트립으로 포장되었습니다. 이 장비에는 제조업체가 "궁극의 데스크탑 슈퍼컴퓨터"라고 부르는 Nvidia의 고급 그래픽 카드가 장착된 Dell 호스트가 포함되어 있습니다. Luedtke는 또한 장비 열 방출 문제를 교묘하게 해결했습니다.

가정용 AI 콘솔의 등장은 하드웨어 제조업체에게 예상치 못한 이점입니다. Mac mini와 Mac Studio는 스마트폰 개발자들 사이에서 매우 인기가 높으며 매출도 증가하고 있습니다. 델은 또한 홈 AI 마니아 시장이 폭발적인 성장을 경험하고 있다고 말했다.

Dell의 수석 엔지니어인 Mark Hammons는 "이것이 시대의 추세입니다. 올해 OpenClaw의 출현 이후 관련 하드웨어에 대한 수요가 급증했습니다."

고성능 호스트를 집에 두는 것은 새로운 일이 아니며, Discord 및 Reddit과 같은 플랫폼에서 이미 '홈랩' 열성 커뮤니티가 번성했습니다. 21세기 초 오디오 애호가들은 집에 서버를 구축하고, 대용량 하드 드라이브를 장착하고, 다운로드한 MP3 음악과 비디오를 저장했습니다. 이후 암호화폐 채굴 붐으로 인해 가정용 고성능 GPU에 대한 수요가 증가했습니다.

Hitten Shah는 당시 암호화폐 플레이어였습니다. 2020년에는 집에 있는 서버랙에 GPU 8개를 설치해 이더리움을 채굴했다. 현재 소프트웨어 스타트업 Crazy Egg의 CEO인 Shah는 AI 개발로 눈을 돌려 캘리포니아주 Redwood Shores에 있는 자신의 집에서 컴퓨팅 성능을 크게 확장하여 Mac mini 14대와 Mac Studio를 포함해 총 18대의 장치로 확장했습니다.

샤는 로컬 컴퓨팅 성능을 통해 자신이 개발한 웹사이트 최적화 소프트웨어의 성능을 제어할 수 있다고 말했습니다. 대규모 클라우드 모델에서 가동 중지 시간과 지연이 자주 발생하는 것은 정상입니다. "클라우드에 대형 모델이 업데이트될 때마다 시스템이 며칠간 불안정해지며 장애가 자주 발생하게 됩니다."

하지만 가격이 비싸서 생활의 편안함이 많이 떨어지네요. 모든 컴퓨터 장비는 그의 집 사무실에 배치되어 있으며, 기계에서 방출되는 열로 인해 실내 온도가 화씨 85도(섭씨 약 29.4도)까지 치솟는 경우가 많습니다. 그는 종종 반바지를 입고 방에 머물 수 있습니다. 샤는 "에어컨을 설치해야겠다"고 말했다.

많은 국내 AI 애호가들이 업계에서 인터넷 유명 인사가 되었습니다. 익명을 요청하고 Digital Spaceport라는 채널 이름만 사용하는 오스틴에 거주하는 YouTube 사용자입니다. 그는 자신의 차고에 "홈 데이터 센터"라고 부르는 것을 건설했습니다. 하드웨어에는 5개의 AMD 그래픽 카드와 다수의 네트워크 및 저장 장치가 포함되어 있습니다. 현재 그는 이 컴퓨터에서 국내 대형 오픈 소스 모델인 Tongyi Qianwen Qwen-3.8-27B를 실행하여 자신의 YouTube 동영상을 편집하고 분석하고 있습니다.

또 다른 폴란드 기술 컨설턴트이자 익명의 YouTube 사용자는 채널 ID 0xSero를 사용합니다. 점점 더 많은 하드웨어를 구입하면서 AI 호스트를 집 주변으로 옮겨야 했습니다. 원래 그의 홈 오피스에는 NVIDIA 6000 그래픽 카드 4개가 놓여 있었지만 소음이 많이 나고 발열이 심하며 실내 공기가 건조해졌습니다. 그는 이것이 작년에 자신의 질병의 원인이라고 믿었습니다. 그래서 전체 세트가 다락방으로 옮겨졌습니다.

0xSero는 클라우드 AI 모델을 최초로 사용한 회사입니다. 전환점은 2024년 말에 찾아왔다. AI 프로그래밍 도구인 커서(Cursor)의 가격이 오른 것이다. "그 순간 나는 로컬 AI를 개발해야겠다고 결심했습니다."

그는 AI 시스템의 소유권과 통제권이 사용자의 손에 있어야 한다는 관점을 주장합니다. 미래에는 AI 접근 권한에 대한 정부의 통제와 제한이 있을 수 있습니다. “저는 AI를 정말 좋아하고 AI를 계속 사용할 권리를 갖고 싶습니다.”