인공 지능(AI)은 펀드 매니저를 대체할 준비가 되어 있지 않으며 일련의 공개 테스트를 통해 그 이유를 알 수 있습니다. 세계 최고의 AI 모델이 참여하는 일련의 새로운 거래 경쟁에서 지금까지 AI의 성과는 크지 않았습니다. 대부분의 시스템이 손실을 입었습니다.그들은 너무 자주 거래하고 똑같은 지시를 받았을 때 완전히 다른 결정을 내립니다.. 그리고 모델이 반복적으로 업그레이드됨에 따라 이러한 결함이 사라질지, 아니면 큰 언어 모델과 시장이 실제로 작동하는 방식 사이의 근본적인 격차가 드러날지는 아직 아무도 모릅니다.
기술 스타트업 Nof1이 운영하는 Alpha Arena를 예로 들어 보겠습니다. 이 플랫폼은 Anthropic의 Claude, Google의 Gemini, OpenAI의 ChatGPT, Elon Musk의 Grok 등 4개의 경쟁에서 8개의 주요 최첨단 AI 시스템을 경쟁시킵니다. 각 시스템은 매 경기 전에 10,000달러의 자금을 지원받았으며 이후 2주 동안 미국 기술 주식을 독립적으로 거래했습니다. 과제에는 다양한 신호에 대한 거래, 방어 전략 채택, 경쟁사 실적에 대응, 높은 레버리지로 운영 등이 포함됩니다.
전체 포트폴리오는 결국 자금의 약 3분의 1을 잃었습니다. 전체 32개 세트의 결과 중 모델이 수익성을 달성한 경우는 6회에 불과했습니다. Grok 4.20은 경쟁사의 성과에 대한 통찰력을 제공하는 챌린지에서 최고의 결과를 달성합니다. 단지 158건의 거래만 이루어졌습니다. Alibaba의 Qianwen은 동일한 프롬프트로 1,418건의 거래를 완료했습니다.
알파 아레나는 점점 늘어나는 관련 실험 중 하나일 뿐입니다. 이러한 실험은 대규모 언어 모델이 금융에서 가장 어려운 작업, 즉 시장을 이기는 작업을 수행할 수 있는지 테스트하고 있습니다. 대회는 학문적으로 엄격하지는 않지만 이러한 시스템이 월스트리트에서 가장 수익성이 높고 위험한 직업을 맡으려고 할 때 어떤 일이 발생하는지 가장 공개적으로 보여줍니다.
이러한 예비 결과는 거래가 AI에 전적으로 넘겨지는 것을 경계하는 금융 분야의 몇 안 되는 직업 중 하나이기 때문에 중요합니다. 지난 몇 년 동안 JPMorgan Chase부터 Balyasny Asset Management까지 업계 거대 기업들은 거의 모든 측면에서 이 기술을 사용해 왔습니다. 오늘날 대규모 언어 모델은 퀀트 기관에서 뉴스를 구문 분석하고, 헤지 펀드에서 메모 초안을 작성하고, 대형 은행에서 사기를 식별하는 데 사용됩니다. 그러나 실제 금은 거래에 있어서는 '사람의 참여'가 여전히 업계의 신조이고, 이해할 수 있는 것 같습니다.
Nof1 창립자 Jay Azhang
Nof1 창립자 Jay Azhang은 "대규모 언어 모델 자체로는 실제로 돈을 벌 수 없습니다. 기본적으로 재생할 기회를 제공하려면 매우 복잡한 제약 프레임워크, 지원 시스템 및 데이터 플랫폼 세트가 필요합니다."라고 말했습니다.
그는 대규모 언어 모델이 연구를 잘하고 특정 작업에 적합한 도구를 찾고 호출하는 데도 능숙하다고 말했습니다. 그러나 그들은 분석가 등급, 내부자 거래, 시장 정서 변화 등 주가 움직임에 영향을 미치는 많은 변수 각각이 얼마나 중요한지 여전히 모릅니다. 그들은 거래 시기를 놓치고, 포지션 규모를 잘못 설정하고, 너무 자주 사고 파는 경향이 있습니다.
AI 블로그 Flat Circle은 11개의 시장 관련 경쟁 플랫폼을 추적했는데, 모두 수익성이 있는 모델이 하나 이상 있습니다. 그러나 이들 11개 플랫폼 중 2개 플랫폼의 중간 모델만이 수익성을 달성해 대부분의 모델이 시장을 이기기 위해 애쓰고 있음을 알 수 있다.
이 결과는 인간의 성과를 반영합니다. 대부분의 적극적으로 관리되는 펀드는 시장 성과도 저조한 것으로 알려져 있습니다. 그리고 인간과 마찬가지로 이러한 모델도 심각한 편향을 일으키기 쉽습니다. 여러 대회에서 AI 시스템은 동일한 지침이 주어졌을 때 매우 다른 결정을 내리는 것으로 나타났으며, 이는 이를 배포하는 기관에 중요한 영향을 미칩니다. Azhang이 예를 들었습니다. 최근 알파 아레나 경쟁에서 Claude는 대부분 매수 경향이 있었고 Gemini는 공매도를 싫어하지 않았으며 Qianwen은 높은 레버리지의 도움으로 위험을 감수하려는 의지가 더 컸습니다.
Intelligent Alpha를 운영하는 Doug Clinton은 "그들은 그들만의 '개성'을 가지고 있으며 인간 분석가처럼 그들을 관리해야 합니다"라고 말했습니다. 모델이 특정 편견을 보인다는 사실을 인식하게 되면 결과가 개선될 수 있다고 그는 말했습니다. Intelligent Alpha는 AI가 기업 수익을 얼마나 잘 예측하는지에 대한 자체 벤치마크를 게시하는 대규모 언어 모델을 기반으로 하는 펀드를 보유하고 있습니다.
Intelligent Alpha의 벤치마크는 재무 보고, 분석가 예측, 수익 보고 회의록, 거시 경제 데이터 및 최대 10개의 웹 검색에 액세스할 수 있는 10개의 AI 모델을 제공합니다. 대규모 언어 모델은 초점이 더 좁기 때문에 이 테스트에서 더 적극적으로 수행됩니다. 2025년 4분기 OpenAI의 ChatGPT의 예상 수익 변화 방향 판단 정확도는 68%에 달해 현재까지 최고 수준을 기록했다. 이러한 모델은 일반적으로 새 제품이 출시될 때마다 지속적으로 개선된다고 Clinton은 말했습니다.