업계 분석 기관인 세미애널리시스(SemiAnalytics)는 최근 오픈AI(OpenAI)와 앤트로픽(Anthropic)의 다단계 구독 플랜에 대한 실제 테스트를 진행했다. 그 결과, 저렴한 월 사용료 뒤에는 엄청난 컴퓨팅 파워 보조금 격차가 숨어 있는 것으로 나타났다. 기관은 두 회사로부터 다양한 구독 요금제를 구입하고 주간 사용량 한도에 도달할 때까지 장기 프로그래밍, "지능형 에이전트" 등의 과중한 작업을 계속 실행한 다음 공용 API 가격을 기준으로 이러한 사용량에 해당하는 이론적 비용을 계산했습니다.
계산 결과, US$200의 OpenAI 'ChatGPT Pro 20x' 구독을 모두 사용하면 해당 API 청구액은 최대 약 US$14,000에 도달할 수 있는 것으로 나타났습니다. 동일한 가격으로 책정된 Anthropic의 "Claude Max 20x" 솔루션은 극단적인 사용 조건에서 이론적 토큰 비용이 약 US$8,000에 근접할 수 있습니다. 이는 소수의 헤비유저가 구독 모델에서 원래 제한된 이익 마진을 먹어치우기에 충분하다는 것을 의미합니다.
세미애널리시스 분석에 따르면 이는 대형 모델사들이 '활용도'에 각별한 관심을 기울이는 이유 중 하나다. Anthropic의 경우 Claude Pro 및 Claude Max 5x와 같은 계층에서는 실제 사용자 사용량이 약 20%에 도달하더라도 회사는 대략 중단될 수 있습니다. 이에 비해 OpenAI의 이익 마진은 훨씬 더 얇습니다. ChatGPT Plus 및 ChatGPT Pro 5x 구독에서 활용도가 약 11.4%를 초과하면 회사는 해당 사용자에 대한 손실을 입기 시작합니다.
고가의 최고 요금제에서는 경제 구조가 더욱 강화됩니다. 보고서는 활용률이 약 10%에 도달했을 때 Anthropic의 고급 구독에 대한 총 이익 마진이 0에 가까웠고, OpenAI는 활용률이 약 5.7%에 도달했을 때 마이너스 총 이익 범위에 빠졌다고 지적했습니다. 즉, 사용자는 이러한 구독을 "수익이 나는 상품"에서 "손실이 나는 상품"으로 변경하기 위해 극도로 높은 사용 빈도에 도달할 필요가 없습니다.
이러한 맥락에서 가격을 조정하거나 접근을 제한하는 방법은 제조업체에게 어려운 문제가 되었습니다. 고정 월 사용료 구독 모델은 ChatGPT 및 Claude와 같은 제품의 빠른 인기에 핵심 요소입니다. 할당량이 강화되거나 임계값이 높아지면 사용자 성장 모멘텀이 약화될 수 있습니다. 현재의 대규모 모델 "군비 경쟁"에서 모델 기능과 가용성은 여전히 가장 중요한 경쟁 칩 중 하나이므로 기업이 전략을 쉽게 조정하기가 더욱 어렵습니다.
반면, AI가 실제로 사용되는 방식의 변화도 비용 압박을 가중시키고 있습니다. 보고서는 자동으로 도구를 호출하는 다단계 "에이전트" 시스템으로 대표되는 새로운 워크플로의 토큰 소비가 기존 단일 라운드 대화의 1000배에 달할 수 있다고 지적했습니다. 이러한 고강도 통화 패턴으로 인해 일부 대기업은 AI 도구의 내부 개방성과 비용 제어 전략을 재검토하게 되었습니다.
보도에 따르면 마이크로소프트, 메타, 아마존 등 기업은 내부 청구서의 급격한 증가로 인해 직원들에게 대규모 시험과 내부 승진을 독려하던 기존 관행을 축소했다고 한다. 널리 알려진 한 사례에서는 회사가 직원의 Claude 사용에 대한 제한을 설정하지 않은 채 단 한 달 만에 Anthropic의 서비스 비용을 5억 달러까지 소진하여 긴급 관리 개입을 직접 촉발했습니다.
비용과 실제 수요의 압박으로 인해 점점 더 많은 기업이 보다 정교한 모델 라우팅 전략을 채택하기 시작했습니다. 한 가지 접근 방식은 복잡하고 가치가 높은 문제를 값비싼 "프론티어 모델"(프론티어 모델)에 맡기고 일상적인 사무, 기본적인 질문 및 답변 작업을 저렴한 모델에 위임하는 것입니다. 이러한 방식으로 작업을 오프로드함으로써 일부 기업은 전체 AI 비용을 최대 95%까지 줄일 수 있다고 Wall Street Journal은 연구를 인용합니다. 컬럼비아 대학교 부학장인 Vishal Misra는 기업이 항상 "양자 중력을 이해"하는 최고 수준의 대형 모델을 필요로 하는 것은 아니라고 지적했습니다. 많은 오픈 소스 모델은 일상적인 요구 사항을 충족하기에 충분하며, 이는 또한 고가의 폐쇄형 모델의 프리미엄 공간을 압박하게 됩니다.
일부 AI 스타트업은 더욱 급진적인 마이그레이션을 수행했습니다. AI 보조 스타트업 Lindy의 창립자이자 CEO인 Flo Crivello는 회사가 Anthropic 모델에서 완전히 마이그레이션하여 트래픽의 100%를 DeepSeek V4로 전환했다고 말했습니다. 평가에서 DeepSeek V4는 비용의 일부만으로 Claude Sonnet과 기능 면에서 비슷했으며, 마이그레이션을 통해 회사는 수백만 달러를 절약한 것으로 알려졌습니다.
다른 사람들은 보다 제어 가능한 장기 비용 구조를 대가로 내부 데이터를 자체 인프라와 결합하여 오픈 소스 모델을 기반으로 자체 시스템을 구축하기로 선택합니다. 이 경로에는 더 높은 초기 투자가 필요하지만 타사 클라우드 AI 공급업체에 대한 의존도를 줄이는 데 도움이 되며 기업은 추론 비용, 데이터 보안 및 성능 최적화를 보다 세밀하게 제어할 수 있습니다. 특정 수직 시나리오에서는 미세 조정된 내부 모델이 범용 최첨단 모델보다 성능이 더 뛰어날 수도 있습니다.
중장기적으로 업계에서는 일반적으로 인프라 확장, 하드웨어 진화, 모델 반복을 통해 일부 비용이 점차 감소할 것으로 예상합니다. 세미애널리시스는 현재 Opus 4.8이 대표하는 중급 수준의 성능을 바탕으로 향후 더욱 성숙한 기술과 효율적인 컴퓨팅 파워를 통해 월 20달러 정도의 가격으로 수익성 있게 제공될 것으로 예상하고 있다. 그러나 이 판단은 가까운 미래에 높은 운영 비용을 유지할 것이며 단순히 대중을 위한 통합 구독 계획으로 패키지화하기보다는 API 청구, 계층형 기능 잠금 해제 등을 통해 비용이 청구될 가능성이 높은 최첨단 최상위 모델에는 적용되지 않습니다.
그때까지 AI 서비스 제공업체는 두 가지 방향 사이에서 어려운 균형을 유지해야 합니다. 한편으로는 사용자는 저렴하고 예측 가능한 월 요금으로 가장 강력한 AI 기능을 얻고 싶어합니다. 반면, 이러한 기능을 지원하는 기본 컴퓨팅 성능과 인프라는 여전히 비용이 많이 들고 사용 강도에 매우 민감합니다. OpenAI CEO인 Sam Altman도 토큰 비용이 점점 더 심각한 문제가 되고 있음을 공개적으로 인정했으며, 회사는 사용자가 ChatGPT를 사용할 때 "더 적은 비용으로 더 많은 가치"를 달성할 수 있도록 제품과 아키텍처를 최적화하기 위해 열심히 노력하고 있습니다.