요약:
OpenAI는 자사의 새로운 "Jalapeno" 칩이 Nvidia의 현재 제품 라인업보다 테스트에서 더 나은 성능을 발휘했다고 주장하며, 이는 회사가 자체 AI 프로세서 개발에서 이룬 진전을 강조합니다. OpenAI 칩 사업 책임자 Richard Ho는 인터뷰에서 이 칩이 GB300을 가장 진보된 제품으로 간주하는 테스트인 Nvidia GB300과 비교했다고 말했습니다. 테스트에서 Jalapeno는 단위 전력 소비당 처리할 수 있는 AI 작업량과 응답 속도라는 두 가지 지표에서 우위를 점했습니다.
OpenAI가 이번에 Jalapeno를 공개 테스트할 때 자체 소형 오픈 소스 모델인 GPT-OSS 120B와 DeepSeek 및 Moonshot AI의 타사 모델을 사용했습니다. Moonshot의 모델 Kimi K2.5 1T에서 Jalapeno의 장점은 더욱 분명해졌습니다.
OpenAI는 내부 테스트에서 Jalapeno가 아직 출시되지 않은 일부 대규모 고급 모델을 실행할 때도 좋은 성능을 발휘했다고 밝혔습니다. 이는 작업 부하가 더 커지고 복잡해짐에 따라 칩 설계의 "가치가 더욱 높아질 것"임을 시사합니다.
OpenAI는 Broadcom과 협력하여 Jalapeno를 개발했습니다. 회사는 올해 말부터 AI 모델을 지원하기 위해 이 칩을 사용할 계획이다. 이는 자체 AI 인프라를 구축하고 칩 자체 연구를 대규모로 추진하겠다는 계획의 일환이다.
Broadcom은 많은 고객을 위한 맞춤형 칩을 생산합니다. 두 회사는 지난해 협력을 발표한 데 이어 올해 6월에도 이 프로세서의 개발 속도가 기록적인 속도로 개발됐다며 적극적으로 홍보했다.
현재 자체 개발한 AI 칩을 개발하는 기업이 점점 더 많아지고 있으며, 엔비디아는 여전히 이 분야를 장악하고 있습니다.
일반적으로 일부 칩은 AI 작업을 실행할 때 더 많은 처리 능력을 갖고 다른 칩은 신속하게 응답하는 데 더 뛰어나지만 Jalapeno는 두 가지 측면 모두에서 최고를 가지고 있다고 Ho는 말했습니다.
OpenAI는 Jalapeno에서 실행할 AI 모델을 결정하여 고객이 필요에 따라 저비용 또는 고성능 솔루션을 선택할 수 있도록 합니다.
호 대표는 "실험실 테스트에서 할라페뇨는 고처리량 분야에서 강력한 성능을 보여줬는데, 이는 더 낮은 비용으로 많은 수의 고객에게 서비스를 제공할 수 있음을 의미하는 동시에 저지연 분야에서도 좋은 성적을 거두어 응답 속도를 중시하는 고객들에게는 응답 시간이 매우, 매우 빠를 것임을 의미한다"고 말했다. 데이터센터의 경우 전력은 가장 중요한 비용 중 하나입니다.
Jalapeno는 이제 막 출시되기 시작한 Nvidia의 최신 세대 Vera Rubin 칩에서 테스트되지 않았다는 점에 유의해야 합니다. 또한 Jalapeno는 AI 모델 훈련용으로 설계되지 않았으며 훈련은 NVIDIA 기술이 가장 잘 활용되는 영역 중 하나입니다.
할라피뇨는 주로 AI 추론 단계를 지향한다. 즉, 모델이 훈련을 마친 후 사용자 프롬프트에 따라 응답을 생성하고 작업을 수행한다. 속도의 이점은 OpenAI가 이를 사용하여 과거에는 다양한 메모리 유형과 칩 아키텍처를 사용하는 프로세서를 통해서만 달성할 수 있었던 효과를 달성할 수 있음을 의미합니다.
OpenAI는 일부 모델을 실행하기 위해 여전히 Cerebras 기술을 사용하고 있으며 이러한 유형의 칩은 소형 모델에 더 적합합니다. 이에 비해 Jalapeno는 훨씬 더 큰 모델을 처리할 수 있습니다. Ho는 OpenAI의 기술이 단기적으로 Cerebras와 같은 공급업체를 대체하지 않을 것이라고 말했습니다.
호씨는 "컴퓨팅 파워에 대한 우리의 수요는 매우 크다. 그래서 우리는 다양한 공급업체와 계약을 체결했다. 이런 상황은 한동안 계속될 것"이라고 말했다. 그는 OpenAI가 AI 칩 분야의 혁신을 촉진하기 위해 연구 개발 결과를 공개적으로 공개하기를 희망한다고 말했습니다.
다른 스타트업도 비슷한 방향을 모색하고 있다. Etched는 지난 주 자금 조달 라운드에서 약 210억 달러의 가치를 확보했으며 저전압 칩 배송을 시작했다고 말했습니다. 전직 Google 칩 직원 두 명이 설립한 MatX는 현재 높은 처리량과 낮은 대기 시간을 결합한다는 동일한 목표를 가지고 반도체 제품을 개발하고 있습니다.
OpenAI는 또한 회사가 칩 개발 프로세스 속도를 높이기 위해 자체 AI 모델을 사용했다고 밝혔습니다. 2세대 칩도 더욱 심층적인 연구 개발 단계에 들어섰습니다. Ho는 회사가 "앞으로 몇 달 안에" 칩의 테이프아웃을 완료할 것으로 기대한다고 말했습니다. 이때는 칩 설계가 최종 단계에 진입하는 시점입니다.
동시에 OpenAI는 전 세계적으로 대규모로 구축하고 있는 AI 인프라의 비용을 더욱 절감하기 위해 3세대 칩 설계에 착수했습니다. 호 대표는 "이제 인프라 비용을 절감할 수 있는 비용 수준과 전력 소비 수준에 도달했다. 이는 첫 번째 단계에 불과하다"고 말했다.
OpenAI가 자체 개발 칩을 적극적으로 홍보하고 엔비디아 제품과 성능을 비교하고 있지만, 호 대표는 여전히 OpenAI가 엔비디아를 핵심 칩 공급업체로 간주하고 있다는 점을 특히 강조했다.
"NVIDIA는 매우 좋은 파트너이며 여전히 많은 NVIDIA 칩을 사용해야 합니다."
댓글