GPU 왕의 고민. "너겟 구매" 논리의 핵심 수혜자로서 NVIDIA의 기록적인 성능은 생성 AI 시장을 지원하는 자신감의 기둥이 되었습니다. 그러나 뛰어난 성능 뒤에 숨겨진 더 중요한 문제는 제한된 생산 능력으로 인해 Nvidia가 GPU에 대한 시장 수요를 충족할 수 없다는 것입니다. 지난 8월 언론에서는 H100 주문이 내년 1분기 또는 심지어 2분기까지 대기했다고 보도했습니다.
GPUUtils의 추측에 따르면 보수적인 추정에 따르면 NVIDIA GPU의 총 잠재 주문량이 미화 200억 달러를 초과할 수 있으며 플래그십 GPUH100의 공급 격차는 430,000대에 달할 수 있습니다.
NVIDIA CEO Jensen Huang도 다음과 같이 퉁명스럽게 말했습니다.
"우리의 현재 선적량은 수요를 충족시키지 못합니다."
Lao Huang의 어려움은 Nvidia의 목에 걸린 두 가지 핵심 기술인 CoWoS 패키징과 HBM 메모리에 있습니다.
SK하이닉스와 TSMC는 엔비디아의 목뒤에 있는 주자들이다
지난해 9월 출시된 H100은 엔비디아 제품 매트릭스 중 가장 발전된 GPU다.
이전 A100에 비해 가격은 약 1.5~2배 올랐지만 성능은 질적으로 비약했다. 추론 속도는 3.5배, 훈련 속도는 2.3배 빨라졌다. 서버 클러스터 컴퓨팅을 사용하면 훈련 속도를 9배까지 높일 수 있습니다. LLM 교육에서는 원래 1주일의 작업량을 20시간으로 단축할 수 있습니다.
NVIDIA H100은 주로 세 부분으로 구성됩니다. 중앙 H100 다이 양쪽에 3개의 HBM 스택이 있고 가장 바깥쪽 레이어는 TSMC의 2.5DCoWoS 패키징 프레임입니다.
세 가지 구성 요소 중에서 핵심 로직 칩 공급이 가장 간단합니다. 주로 TSMC 타이난 18공장에서 생산되며 4N 공정 노드(실제로는 5nm+)를 사용한다. 5nm+ 다운스트림 PC, 스마트폰, 비AI 관련 데이터센터 칩 시장의 약세로 인해 TSMC의 5nm+ 용량 가동률은 현재 70% 미만입니다. 따라서 로직칩 공급에는 문제가 없다.
엔비디아의 주요 공급 공백은 로직 칩 양쪽에 있는 6개의 HBM(High Bandwidth Memory, 고대역폭 메모리)과 로직 칩과 HBM을 연결하는 CoWoS 패키지(Chiponwafer on Substrate, Chip, Wafer, Substrate Package)에서 비롯됩니다.
HBM은 3D 적층 기술을 기반으로 한 DRAM 메모리 칩입니다. 기술 원리는 여러 개의 DDR 칩을 수직으로 쌓고 TSV(실리콘 비아) 및 마이크로 범프(μBmps) 기술을 통해 칩을 서로 연결함으로써 기존 성능 한계를 극복하고 저장 용량을 크게 늘리며 더 높은 대역폭, 더 높은 비트 폭, 더 낮은 전력 소비 및 더 작은 크기의 DDR 조합 어레이를 구현하는 것입니다.
메모리 칩은 GPU 성능, 특히 AI 훈련에 사용되는 고성능 GPU에 매우 중요합니다. 추론 및 교육 워크로드는 메모리 집약적인 작업입니다. AI 모델의 매개변수 수가 기하급수적으로 증가함에 따라 가중치만으로도 모델 크기가 테라바이트로 늘어납니다. 따라서 훈련 및 추론 데이터를 메모리에 저장하고 검색하는 능력이 GPU 성능의 상한을 결정합니다. 더 큰 AI 모델과 애플리케이션이 있을수록 HBM 제조업체에게는 더 좋은 일이 될 것입니다.
전체 HBM 시장을 살펴보면, 한국의 두 거대 스토리지 기업인 SK하이닉스와 삼성은 합산 시장 점유율이 약 90%로 절대 독점권을 갖고 있습니다.
HBM3은 공정이 복잡하고 비용이 높으며 생산 능력이 제한되어 있습니다. 2022년에 HBM3는 전체 HBM 시장에서 약 8%의 시장 점유율을 차지할 것이다. HBM3를 양산할 수 있는 세계 유일의 기업으로 SK하이닉스는 엔비디아 H100의 목을 굳건히 막아냈다. 이전 세대 A100/A800과 AMD의 MI200은 이전 세대 HBM2E 기술을 사용합니다.
하지만 메모리칩 업계는 현재 HBM2E에서 HBM3로 업그레이드를 진행 중이다. 트렌드포스 데이터에 따르면 HBM3의 시장 점유율은 2024년까지 60%를 넘을 것으로 예상된다. 삼성, 마이크론 등 메모리 칩 제조사들은 적극적으로 탑재를 계획하며 SK하이닉스의 시장 점유율을 노리고 있다.
어드밴스드 패키징은 HBM 메모리를 보완하는 기술입니다. HBM 스택을 사용하려면 어드밴스드 패키징을 사용하여 메모리와 GPU를 연결해야 합니다.
H100에 사용된 TSMC CoWoS 고급 패키징은 2.5D 패키징 기술입니다.
주류의 2D 패키징 솔루션은 평면 퍼즐처럼 모든 칩과 수동 부품을 기판 표면에 수평으로 설치하는 집적 방식이다.
2.5D 고급 패키징은 수평으로 배열된 빌딩 블록과 비교할 수 있습니다. 다층 DDR 칩의 HBM 스택은 실현되기 위해 고급 패키징에 의존해야 합니다.
TSMC의 CoWoS 고급 패키징 솔루션은 CoW와 OS의 조합입니다. 먼저 CoW(ChiponWafer) 패키징 공정을 통해 칩을 실리콘 웨이퍼에 연결한 다음 CoW 칩을 기판(onSubstrate)에 연결하여 CoWoS에 통합합니다.
CoWoS 기술은 패키지 크기를 줄이면서 상호 연결 밀도와 데이터 전송 대역폭을 크게 향상시켰지만 프로세스도 매우 복잡하므로 주로 고급 시장에서 사용됩니다.
언론 보도에 따르면 TSMC의 현재 월간 CoWoS 패키징 생산 능력은 8,000개이며, 올해 말까지 11,000개로 늘어날 것으로 예상된다. 2024년 말까지 월 14,500~16,600개 정도의 생산능력을 달성할 것으로 예상된다. 즉, 생산량을 2배로 늘리려면 거의 1년 반이 걸린다.
무어의 법칙이 정점에 도달하고 고급 패키징이 주류가 될 것입니다.
여러 개의 칩을 쌓은 다음 고급 패키징을 통해 결합하는 HBM과 같은 솔루션은 현재 시장에서 고급 칩에 대한 주류 설계 아이디어가 되었습니다.
그 이유는 간단합니다. 고급 프로세스가 이제 7nm, 5nm 및 3nm로 반복되고, 기술 노드가 점점 더 작아지고, 생산 기술 및 제조 프로세스가 점점 더 복잡해지고, 집적 회로 제조 장비에 대한 자본 투자가 점점 높아지고 있습니다.
5nm 이하의 공정을 예로 들어보겠습니다. 이 단계에서는 파장 제한으로 인해 일반 리소그래피 기계의 정확도가 더 이상 공정 요구 사항을 충족할 수 없으며 기업은 각각 최대 14억 위안에 달하는 고가의 EUV 리소그래피 기계로 전환해야 합니다.
5나노 공정 장비비는 식각, 박막증착 등 장비를 합치면 31억 달러에 달한다. 이는 14나노의 2배 이상, 28나노의 4배 정도다.
비용 효율성을 높이기 위해 칩 제조업체는 시스템 수준 칩 설계에 대한 순수한 프로세스 개선을 통해 트랜지스터 밀도와 성능을 향상시킬 수 있는 다른 방법만 찾을 수 있습니다.
한편, 지난 10년간 글로벌 데이터 컴퓨팅의 양은 폭발적으로 증가해 지난 40년간의 총량을 넘어섰다. 소비자 가전 및 자동차 칩에 대한 수요가 증가함에 따라 칩 제조 공정이 무어의 법칙(1nm)의 이론적 물리적 한계에 도달하더라도 여전히 미래 산업 응용 분야의 요구를 충족할 수 없습니다.
첨단 패키징은 제품 성능 향상과 비용 절감을 동시에 달성할 수 있기 때문에 포스트 무어 시대의 솔루션이 되었습니다.
생성적 AI로 인해 발생하는 엄청난 수요로 인해 이미 기존 패키징에서 고급 패키징으로의 반복이 가속화되고 있습니다.
모건스탠리는 AI 물결이 2.5D와 3D 첨단 패키징 기술의 대규모 적용을 촉진하고 있다고 지적했다. 2030년에는 첨단 패키징이 전체 패키징 시장의 60% 이상을 차지할 것입니다.
FutureMarketInsights의 추정에 따르면, 현재 약 310억 달러 규모의 고급 패키징 시장은 향후 10년간 연평균 성장률(CAGR) 7.2%로 계속해서 성장할 것입니다.
모건스탠리 애널리스트들은 AI 칩 성장이 기대치를 뛰어넘는 만큼 3D/2.5D 첨단 패키징 분야도 매우 빠른 속도로 성장할 것으로 예상된다고 지적했다. 2021년부터 2028년까지 CAGR은 약 22%에 달할 것입니다.
HBM 메모리와 첨단 패키징 분야의 선두주자인 SK하이닉스와 TSMC가 이제 단맛을 맛보았습니다.
TrendForce 데이터에 따르면 가전제품 시장 침체의 영향으로 메모리 칩 시장 출하량과 평균 판매 단가가 하락했음에도 불구하고 HBM 제품은 추세를 거스르고 가격이 계속 상승하면서 성장세를 보이고 있습니다.
일부 언론에서는 양대 스토리지 제조사인 삼성과 SK하이닉스의 HBM 주문이 2023년 초부터 급격히 늘었다고 보도했다. SK하이닉스가 독점 공급하는 HBM3의 가격은 5배나 올랐다. 다른 메모리 칩 사양에 비해 단가가 훨씬 높은 고마진 제품인 만큼 HBM3의 이익은 무섭다. TrendForce는 AI 물결에 힘입어 전체 HBM 수익이 2024년에 미화 89억 달러에 도달하여 연간 127% 증가할 것으로 예측합니다.
동시에 NVIDIA H100 및 AMDMI300의 뜨거운 판매로 인해 TSMC의 고급 패키징도 공급이 부족합니다.
모건스탠리 애널리스트들은 이렇게 말했습니다.
파운드리 공급망 점검에 따르면 단일 CoWoS-S 웨이퍼(및 관련 프로세스)는 고객/프로젝트 규모 및 설계 복잡성에 따라 $6,000-$12,000에 판매됩니다. TSMC가 2분기 재무 보고 회의에서 공개한 정보에 따르면, 2023년 총 매출의 6~7%가 고급 패키징 및 테스트에서 나올 것으로 예상됩니다.
우리는 CoWoS가 올해 TSMC에 약 10억 달러의 매출을 기여할 것으로 추정합니다. TSMC가 계속해서 CoWoS 생산 능력을 늘리고(TSMC의 2분기 실적 발표에서 제공된 데이터에 따르면 생산 능력은 2024년에 두 배로 늘어날 예정) 현재 AI 칩에 대한 강력한 수요가 증가함에 따라 이 숫자는 더욱 늘어날 가능성이 높습니다. 따라서 우리는 2023년부터 2027년까지 TSMC의 CoWoS 매출 CAGR이 40%에 이를 것으로 예상합니다.
입장:
징둥몰