이전에 공개되지 않은 뉴스에서 OpenAI 엔지니어는 이달 초 일부 내부 동료에게 일련의 새로운 기술 최적화를 통해 다음과 같은 방법을 찾았다고 밝혔습니다.모델 추론 실행 비용이 절반 이상 절감됩니다.계획.
엔지니어들이 무료/유료 계정을 등록하지 않은 방문자가 ChatGPT에 액세스하는 ChatGPT 시나리오에 이 신기술을 적용한 후, 피크 기간 동안 필요한 NVIDIA 그래픽 카드의 컴퓨팅 성능은 단지 수백 위안에 불과했습니다. 이 수치는 예상보다 낮았습니다. (물론 OpenAI는 이러한 유형의 익명 방문자에 대해 통화 빈도 제한을 설정했으며 이 그룹의 전반적인 ChatGPT 사용량은 높지 않습니다.)
현재 OpenAI는 이러한 효율성 향상에 사용된 구체적인 기술적 세부 사항을 공개하지 않았습니다. 업계에서는 일반적으로 사용되는 최적화 방법에는 모델 정량화, 키 값 캐싱(모델이 과거 계산 정보를 기억하고 반복 작업을 방지하도록 허용), 요청 일괄 처리(사용자 쿼리를 하나씩 처리하는 대신 일괄적으로 응답), 응답을 완료하기 위해 저전력 경량 모델 또는 모델 하위 모듈에 요청을 예약하는 등이 포함될 것으로 추측합니다.
그러나 OpenAI가 올해 말 더 큰 매개변수를 갖춘 차세대 모델을 출시하면 이러한 최적화 기술 배치로 인한 비용 절감 효과가 약화될 수 있습니다. 왜냐하면 큰 매개변수 모델 자체의 운영 비용이 상당히 높기 때문입니다.
이런 종류의 추론 최적화 기술을 이라고 합니다.컴퓨팅 성능을 배가시키는 기술, 이는 주요 AI 연구소의 초점이기도 합니다. Anthropic CEO Dario Amodei는 적어도 2023년 중반부터 팟캐스트에서 이 개념을 공개적으로 언급했습니다. 그는 당시 회사가 단일 컴퓨팅 성능 최적화 솔루션 세트를 알고 있는 내부 인력의 범위를 엄격하게 제한했다고 말했습니다. 관련 기술이 동료에 의해 복제되면 다른 AI 연구소에 경쟁 우위를 제공할 수 있습니다. (컴퓨팅 파워 배가 기술은 모델 훈련 단계의 다양한 효율성 최적화 방법을 의미할 수도 있습니다.)
이러한 유형의 최적화 기술의 중요성은 점점 더 부각되고 있습니다. 현재 선도적인 AI R&D 기업은 일반적으로 서버 컴퓨팅 성능이 부족합니다. 기업이 데이터센터를 신규 구축하거나 임대 계약을 체결하더라도 프로젝트 시작부터 정식 출시까지 수개월, 심지어 수년이 걸리는 경우가 많다. (OpenAI도 Broadcom과 협력하여 대형 모델 운영을 위한 전용 칩을 자체 개발하고 있으며, 추론 비용을 더욱 절감하기 위해 노력하고 있으며, Nvidia의 상용 칩 대비 비용 절감을 달성하는 것을 목표로 하고 있습니다.)
OpenAI의 기술 최적화 구현 이후 기업이 절감된 컴퓨팅 전력 비용을 어떻게 처리할지 시장에서도 큰 관심이 쏠리고 있습니다. 한편으로 OpenAI는 사용자에게 배당금을 전달할 수 있습니다. 즉, 유료 가입자에 대한 ChatGPT 통화 한도를 늘리거나 개발자에게 공개되는 모델 인터페이스 가격을 낮추는 것입니다. 요즘에는 이전 버전 모델의 콜 가격이 원래 가격의 일부로 떨어졌으며 추론 최적화가 핵심 이유 중 하나입니다.
이를 통해 비용 효율적인 모델 서비스 제공업체로서 OpenAI의 시장 포지셔닝이 더욱 강화될 것입니다. 최근 경쟁 제품인 Anthropic은 모델 출력 효과가 더 우수함에도 불구하고 높은 모델 가격으로 인해 논란이 되고 있습니다.
반면, OpenAI는 총 이익 마진을 높이기 위해 비용 절감 수입을 선택할 수도 있으며, 회사의 총 이익 마진은 주로 추론 컴퓨팅 성능 비용에 따라 결정됩니다. 오픈AI의 올해 1분기 매출총이익률은 39%로 지난해 같은 기간 33%보다 증가했지만, 연말 목표 매출총이익률 52%와는 여전히 큰 격차가 있다.
연간 목표를 달성하려면 회사는 남은 연도 동안 평균 총이익 56%를 달성해야 합니다. 앤트로픽은 올해 상반기 매출이 급등했고, 이번 분기에도 예상치 못한 흑자를 달성할 것으로 예상돼 업계 호황 사이클 중 매출총이익률 개선 속도가 충분히 확인됐다.
현 단계에서 OpenAI는 가격 책정에 대해 절대적인 발언권을 갖고 있지 않지만, 이 추론 최적화 기술은 총 이익 마진 개선 경로를 크게 넓힐 것입니다.