4월 23일(수) 미국 시간 뉴스에 따르면 구글은 자사의 8세대 텐서 처리 장치(TPU)가 대대적인 전략적 조정을 단행했다고 공식 발표했다. 처음으로 AI 모델의 '훈련'과 '추론' 작업을 분리해 두 개의 독립적인 독점 칩에 넘길 예정이다. 이 두 가지 차세대 프로세서는 올해 말에 시장에 출시될 것으로 예상됩니다.

이번 움직임은 AI 하드웨어 분야에서 Google과 Nvidia 간의 새로운 경쟁을 의미합니다.

"컴퓨팅 파워의 전문화를 지향하는 이유는 무엇입니까?" Google의 수석 부사장이자 AI 및 인프라 부문 최고 기술 책임자인 Amin Vahdat는 공식 블로그 게시물에서 이렇게 말했습니다. "AI 에이전트의 등장으로 훈련 및 추론 요구 사항에 특별히 최적화된 칩을 제공하면 전체 기술 생태계에 도움이 될 것이라고 믿습니다."

현재 AI 추론 속도는 대형 제조사들의 핵심 전장이 되고 있다. 지난 3월 Nvidia는 칩 스타트업 Groq를 200억 달러에 인수하면서 얻은 기술 덕분에 모델이 사용자 질문에 신속하게 응답할 수 있게 해주는 곧 출시될 새로운 칩을 홍보했습니다. 이러한 맥락에서 Google은 여전히 ​​NVIDIA의 주요 고객이지만 클라우드 서비스 회사에 TPU를 제공하여 대체 컴퓨팅 성능 솔루션을 구축하고 있습니다.

실제로 기술 대기업들이 직접 코어를 구축하고 독립적인 컴퓨팅 성능을 추구하는 것이 업계의 합의가 되었습니다. 기본 아키텍처의 심층적인 사용자 정의를 통해 기업은 특정 애플리케이션 시나리오의 운영 효율성을 극대화할 수 있습니다. Apple이 수년에 걸쳐 iPhone에 통합한 Neural Engine부터 올해 1월 반복된 Microsoft의 2세대 AI 칩, 다양한 AI 프로세서를 개발하기 위해 Broadcom과 협력하고 있다는 Meta의 최근 폭로에 이르기까지 모두 이러한 추세를 확인시켜 줍니다.

이런 '핵심 만들기 운동'에서 구글은 선구자라고 할 수 있다. 회사는 2015년부터 자체 개발한 AI 프로세서를 탑재하기 시작해 2018년부터 클라우드 플랫폼을 통해 외부 고객들에게 컴퓨팅 파워 서비스를 제공해 왔다. 비교를 위해 아마존 AWS는 각각 2018년과 2020년에 추론 전용 인페렌시아 칩과 훈련 전용 트레이닝리움 프로세서를 출시했다.

투자 은행 D.A. 데이비슨은 지난해 9월 보고서에서 구글의 TPU 사업과 딥마인드 AI 사업부의 합산 가치가 약 9000억 달러에 달하는 것으로 추산했다.

현재 엔비디아는 여전히 AI 컴퓨팅 파워 시장에서 절대적인 지배력을 차지하고 있다. 구글은 이번 출시에서 엔비디아 유사 제품을 직접 벤치마킹하지는 않았지만 자체 성능 반복 데이터를 공개했다. 동일한 비용으로 새로운 트레이닝 칩의 성능은 지난해 11월 출시된 7세대 TPU(코드명 아이언우드)보다 2.8배, 새로운 추론 칩의 성능은 80% 향상됐다.

기술 로드맵에서 업계가 만장일치로 SRAM(Static Random Access Memory)에 투자하고 있다는 점은 주목할 가치가 있습니다. Nvidia가 곧 출시할 Groq 3 LPU든 이번 달에 막 IPO 신청서를 제출한 AI 칩 유니콘 Cerebras든 모두 이 기술에 크게 의존하고 있습니다. 구글이 이번에 출시한 새로운 추론칩 TPU 8i도 이런 흐름을 따른다. 단일 칩의 SRAM 용량은 384MB로 이전 세대 Ironwood보다 3배나 높습니다.

Alphabet CEO Sundar Pichai는 블로그 게시물에서 새로운 아키텍처의 설계 목표는 "대량의 처리량(Throughput)과 낮은 대기 시간(Latency)을 제공하여 수백만 개의 AI 에이전트가 매우 높은 비용 효율성으로 동시에 실행될 수 있도록 지원하는 것"이라고 지적했습니다.

단말 애플리케이션 측면에서 구글은 AI 칩 상용화가 확대되고 있다고 밝혔다. 그 중 시장조성자인 Citadel Securities는 TPU를 기반으로 한 정량적 조사 소프트웨어를 개발했습니다. 미국 에너지부 산하 17개 국립 연구소는 이 칩을 기반으로 한 "AI 공동 과학자" 시스템을 전면적으로 배포하고 있습니다. 또한 AI 스타트업 Anthropic은 수 기가와트에 달하는 Google의 TPU 컴퓨팅 성능 리소스를 사용하기로 약속했습니다.