요약:
OpenAI의 첫 번째 칩 생산이 실제로 NVIDIA 시리즈 전체를 이겼다고 믿을 수 있습니까? ! 방금 OpenAI의 첫 번째 자체 개발 칩인 Jalapeño가 첫 번째 측정 결과인 AI 추론 성능을 전달하여 NVIDIA GB200 및 GB300을 완전히 능가했습니다.
측정된 속도로 바로 이륙하세요!
Jalapeño는 1초에 1,459개의 토큰을 뱉어낼 수 있는 반면, Nvidia GB200은 절반에도 못 미치는 535개의 토큰만 뱉어낼 수 있습니다.
'Pepper'가 작업을 완료하는 데 걸리는 시간은 1.65초에 불과하지만 GB300의 경우 약 6초가 소요되어 전체 3.6배의 차이가 납니다.
가장 잔인한 점은 GB300이 가장 빠른 디코딩 속도를 강요하더라도 Jalapeño의 처리량은 여전히 104.3배 더 높다는 것입니다.
Jalapeño의 공칭 전력 소비량은 700W에 불과한 반면, GB300의 공칭 전력 소비량은 1400W로 정확히 절반 수준입니다.
유명 반도체 분석가 딜런 파텔(Dylan Patel)은 "블랙웰만 무너진 것이 아니라 엔비디아의 루빈 칩까지 넘어섰다"고 혹평하기도 했다!
한동안 AI 서클 전체가 폭발했습니다. 네티즌들은 OpenAI가 너무 미쳤기 때문에 Nvidia도 패배했다고 놀랐습니다.
울트라맨의 "우리가 칩을 만들었으니 말도 안되게 빠르다"는 독보적이면서도 절제된 발언!
01
"칠리 페퍼"가 Nvidia의 주력 제품을 뒤집었습니다
이것은 OpenAI가 스스로 이야기하는 것이 아닙니다.
SemiAnalytic은 실제 측정을 위해 실험실에 들어갔고 그들이 작성한 결론은 ——
Jalapeño는 이전에 테스트했던 모든 Nvidia, AMD, Google 칩을 이겼습니다.
차이가 얼마나 큽니까? Nvidia의 최신 Vera Rubin은 거의 3개의 Jalapeños를 먹일 만큼의 전력을 소비합니다.
테스트 중에 OpenAI는 GPT-OSS 120B, 670B 및 1T 모델 등 세 가지 공개 모델을 선택했습니다.
이번 테스트에서는 중간 규모에서 1000조 개에 이르는 MoE 아키텍처를 다룹니다. 전체적인 결과는 다음과 같습니다.
와트당 AI 작업량 1.5~1.9배 증가
종단 간 지연 시간이 1.7~3.6배 감소
대화성이 뛰어난 워크로드에서 2.1~4.1배 성능 향상
앞서 언급한 1459 토큰은 GPT-OSS 120B에서 측정되었습니다.
단어 간격으로 환산하면 두 토큰 사이에는 0.69밀리초만 있습니다.
사람은 보통 1초에 5~6단어 정도 읽지만, 1초에 1,459단어를 뱉어냅니다. 눈은 따라갈 수 없고 화면은 읽을 수 없습니다.
녹색은 할라피뇨이고 파란색은 가장 강한 색입니다. 세 가지 모델은 각각 2.7배, 4.1배, 3.8배 더 빠릅니다.
채팅에서는 1.65초에서 5.99초 사이의 4초 간격이 허용되지만 에이전트에 사용되는 경우에는 또 다른 문제가 됩니다. 작업을 수행하려면 수십 개의 연속 단계가 필요하므로 그 차이를 곱해야 하기 때문입니다.
그때 전체 네트워크가 104.3번 회전하고 있었다고 합니다.
정확히 의미하는 바는 GB300을 초당 169개의 토큰이라는 가장 빠른 디코딩 속도로 끌어올리면 Jalapeño의 처리량이 104.3배라는 것입니다.
이러한 추세는 3개 모델 모두 동일하며, GPT-OSS는 53.7배, 1T 모델은 56.1배에 이르렀습니다.
동일 모델의 경우 필요한 단어 생성 속도가 증가함에 따라 선행 마진이 1.7배에서 104.3배로 증가합니다
즉, 상대가 한계에 도달해 헐떡거리기 시작하는 곳이 바로 아직까지 침착하게 순항하고 있는 곳이라는 것이다.
각각의 최고 작업 지점을 기준으로 피크 값을 계산하면 세 모델의 경우 그 차이가 각각 1.9배, 1.7배, 1.5배로 훨씬 미미할 것입니다.
실제로 거리를 두는 것은 상호작용이 많은 장면입니다
왼쪽 그림의 가로축은 단어 출력 속도이고, 오른쪽 그림의 가로축은 요청 완료의 지연 시간입니다. 녹색 Jalapeño는 전체 곡선에서 파란색 GB200을 누릅니다
SemiAnalytic은 전원 공급, 열 방출, 네트워크를 고려한 후 이를 각 칩에 분산시킵니다.
그 결과 Jalapeño는 단위당 1.125kW, GB200은 1.87kW, Vera Rubin은 3.3kW를 보유하게 되었습니다.
이 수준에서 GPT-OSS를 실행하면 Jalapeño는 초당 메가와트당 약 5,300만 개의 토큰을 내뿜는데, GB200 NVL72는 약 1,000만 개만 내뿜습니다.
보라색은 할라피뇨, 가로축은 상호작용 속도, 세로축은 초당 메가와트당 뱉어내는 토큰 수
비용 측면에서 칩 시간당 총 소유 비용은 Jalapeño의 경우 1.56달러로 H100의 1.55달러와 거의 같고 Vera Rubin은 3.61달러입니다.
녹색은 Vera Rubin, 보라색은 Jalapeño입니다. 초당 200개의 토큰이 지나면 보라색은 녹색이 닿지 않는 곳까지 갔습니다
가장 끔찍한 점은 이러한 결과가 Jalapeño의 강점이 아니라는 것입니다.
추측적 디코딩과 토큰 예측도 활성화하지 않으며, 사전 채우기와 디코딩을 별도로 배포하지도 않습니다. 그러나 그림의 다른 모든 칩은 자체 최적 구성을 실행하고 있으며 활성화되어야 하는 최적화 중 어느 것도 누락되지 않았습니다.
SemiAnalytic은 추측적 디코딩만으로도 토큰당 비용을 2/3 이상 줄일 수 있다고 추정합니다.
Jalapeño는 "Doom Slayer"를 실행할 수도 있습니다.
02
9개월 만에 GPT‑Astra는 테이프아웃 룸까지 작업했습니다.
이런 경우 OpenAI 설계부터 테이프아웃까지 단 9개월이 걸렸습니다. 이에 비해 업계의 일반적인 기간은 18~36개월입니다.
ASIC을 해본 사람이라면 누구나 이 주기에서 가장 힘든 작업이 검증이라는 것을 알고 있습니다. 시뮬레이션은 계속 반복해서 실행해야 하고, 장소를 바꾸면 처음부터 다시 시작해야 합니다.
OpenAI가 "속임수"를 할 수 있는 이유는 가장 강력한 모델을 테이프아웃 룸에 초대하기 때문입니다.——
Jalapeño 개발에 도움을 준 모델은 바로 GPT-Astra인데, 외부에서 소문이 자자했던 GPT-6입니다!
전체 과정에서 GPT-Astra는 기본적으로 팀의 가장 강력한 지원군이 되었습니다.
구현 솔루션을 탐색하는 데 도움이 되고, 전체 '설계-측정-검증' 순환을 압박하며, 산술 회로를 미세하게 조작하기도 합니다.
세세한 관리는 어느 정도 이루어지나요? SemiAnalytics가 조사한 수치에 따르면 AI 지원 설계로 SIMD 단위 면적이 8%, 매트릭스 엔진 면적이 10% 감소합니다.
동시에 이 모듈은 타이밍과 전력 소비 측면에서 첫 번째 버전보다 우수합니다.
컴퓨팅 다이는 중앙에 있으며 각 측면에 3개의 HBM4가 있고 맨 위에는 I/O 칩이 있습니다.
주요 계산 다이는 약 840제곱밀리미터이며, EUV 노광기의 마스크 한계는 858제곱밀리미터입니다. 이 실리콘 조각은 실제 천장에서 불과 18제곱밀리미터 떨어져 있습니다.
사진 평판 기계를 사용하여 그림을 그릴 수 있는 영역은 기본적으로 아무것도 남기지 않고 점유되어 있다고 할 수 있습니다.
분홍색 행은 Jalapeño이고, 가장 오른쪽 세 개의 열은 와트당 HBM 대역폭, 와트당 FLOP 및 컴퓨팅 전력 대 대역폭 비율입니다.
와트당 HBM 대역폭 측면에서 Jalapeño는 22, 2위인 Rubin은 11.1, GB300은 5.71에 불과합니다. 2위보다 정확히 2배 높은 수준이다.
와트당 FLOP는 19.1이고 Rubin은 19.4입니다. 둘은 거의 동점이지만 루빈은 1,800와트 이상을 소모하는 반면 할라피뇨는 700와트만 소모합니다.
이것은 A0 단계로 실행됩니다. B0는 이미 팹에 들어가고 있으며, 와트당 성능은 A0보다 약 25% 더 높습니다.
이렇게 OpenAI는 Codex와 GPT-Astra의 강력한 조합에 힘입어 원래 계획에 없던 세 가지 오픈소스 모델을 단 두 달 만에 고성능 상태로 전환했습니다.
더 무서운 점은 가장 성능이 요구되는 '주의' 및 MoE 모듈에서 AI가 입력한 코드가 최고 인간 전문가보다 1.5~1.8배 빠르게 실행된다는 것입니다.
AI가 칩을 설계하고, 칩이 AI를 실행하고, AI가 돌아가서 칩 위의 AI를 최적화합니다.
이 플라이휠인 OpenAI는 이미 회전하고 있습니다.
CUDA 해자가 죽었나요?
NVIDIA의 가장 깊은 해자는 항상 CUDA였습니다.
지난 20년 동안 축적된 소프트웨어 스택은 전 세계 엔지니어들의 머슬 메모리를 키워왔습니다. 하드웨어가 변경될 때마다 이를 분해하고 처음부터 다시 시작해야 합니다.
SemiAnalytics는 기사에서 CUDA의 해자가 죽었을 수도 있다며 매우 무거운 판단을 내렸습니다.
이유는 속도 때문입니다.
또한 더욱 가슴 아픈 비교도 추가했습니다. Nvidia의 Rubin은 실제로 Jalapeño보다 한 달 일찍 CoWoS 테이프아웃을 완료했습니다.
그러나 지금까지 외부 세계에서 볼 수 있는 유일한 Rubin 결과는 CoreWeave 엔지니어링 샘플의 데이터였습니다. Nvidia는 OpenAI와 같은 무작위 테스트를 위해 제3자를 실험실에 투입하지 않습니다.
그러므로 문제는 소프트웨어가 시작되는 속도에 있습니다. NVIDIA의 하드웨어 자체에는 아무런 문제가 없습니다.
처음부터 시작하면 OpenAI에도 이점이 있습니다. 역사적인 짐을 짊어질 필요도 없고, 백지 한 장에 건축물을 완벽하게 그릴 수 있다.
SemiAnalytic의 마지막 문장은 매우 생생합니다——
NVIDIA GPU에서 실행되는 GPT-5.6 Sol과 같은 OpenAI 모델이 CUDA 해자를 위협하는 칩을 설계하는 데 사용되었다고 합니다. NVIDIA의 자체 GPU는 실시간으로 자체 "후계자"를 생성하고 있습니다.
03
10기가와트, 이것은 시작에 불과합니다
할라피뇨는 정면에서 첫 번째 샷일 뿐입니다.
지난해 10월 OpenAI와 Broadcom은 큰 움직임을 보이며 10GW 맞춤형 가속기에 대한 대규모 협력 주문을 체결했습니다.
Ultraman과 Broadcom CEO Chen Fuyang은 "Jalapeño Intelligence Processor"라는 명판이 붙은 Jalapeño 웨이퍼를 선보였습니다.
10GW 수준은 원자력 발전소 10기가 최대 용량으로 가동되는 것과 거의 같습니다.
왼쪽이 CPU 메인 캐비닛, 오른쪽이 ASIC 캐비닛, 하나의 캐비닛에 128개의 칩, 두 캐비닛의 총합은 약 160kW입니다
그런데 CPU를 담는 트레이는 카츠, 칩은 빈달루 인디언 카레, 스위치는 차나 병아리콩이라고 합니다. 일본 음식부터 매운 인도 음식까지, 이 시스템을 꼭 기억해 주셨으면 하는 분들입니다.
그리고 Jalapeño는 로드맵의 1세대일 뿐이며 OpenAI는 보고서에 명확하게 명시되어 있습니다.——
Gen2는 이미 심도 깊은 개발이 진행 중이며 Gen3도 구체화되고 있습니다.
대량 생산은 2027년까지 점진적으로 증가하지 않을 것이며 다음 단계는 100메가와트입니다.
그러나 바로 오늘, OpenAI의 데이터 센터 관리자인 Chris Malone이 세상을 떠났다는 사실이 밝혀졌습니다!
말론은 스타게이트의 수장이다.
이제 IPO가 점점 가까워지고 있습니다. 이 시점에서 컴퓨팅 인프라의 핵심 사령관의 상실로 인해 사람들은 OpenAI의 저류에 대해 궁금해하게 되었습니다.
물론 Jalapeño 하나만으로는 Nvidia를 전복시킬 수 없습니다.
그러나 실제 위험 신호는 OpenAI가 모델, 칩, 소프트웨어를 가속 플라이휠로 왜곡했다는 것입니다.
오늘날의 Jalapeño는 1세대에 불과하며 Gen2, Gen3 및 10GW 컴퓨팅 성능 환경이 뒤따릅니다. 핵심 임원들이 떠나더라도 이 길은 계속 전진하는 것을 막을 수 없다.
엔비디아는 여전히 왕좌에 앉아 있습니다.
이번에만 교체자가 문 밖에 줄을 서지 않고 이미 컴퓨터실로 뛰어 들어갔습니다.
Nvidia의 라이벌들은 마침내 자신들만의 Nvidia를 만들기 시작했습니다.
댓글