요약:
DRAM 공급 부족이 지속되면서 AI 업계는 '컴퓨팅 파워 제한'에서 '메모리 제한'으로 전환하고 있다. 보도에 따르면 구글은 폐기된 서버를 해체하고, 아직 사용할 수 있는 DDR4 메모리 모듈을 재활용하고, 새로 구축된 일부 AI 서버에서 이를 재사용하는 등 점차 내부 메모리 재활용 공급망을 구축하기 시작했습니다.
Google의 공급망 인프라 담당 수석 이사인 Nikhil Cherian은 최근 정상회담 포럼에서 고성능 메모리가 현재 AI 서버 BOM 비용의 약 75%를 차지한다고 밝혔습니다. 메모리 병목 현상을 해결하기 위해 Google은 폐기된 서버를 해체하고 사용 가능한 구성 요소를 재활용하는 등 소프트웨어 및 하드웨어 수준의 솔루션을 모두 홍보하고 있습니다.
Google은 DDR4와 같은 이전 세대의 메모리 솔루션을 차세대 AI 서버에 연결할 수 있도록 특별히 설계된 하드웨어 어댑터도 보유하고 있습니다. Cherian은 또한 Google이 DDR4 메모리 모듈을 제거하기 위해 일부 폐기된 서버를 특별히 본국으로 송환할 것이라고 인정했습니다.
동시에 Google은 컴퓨팅 성능 단위당 필요한 메모리 용량을 줄이기 위해 기본 함수 라이브러리, 모델 아키텍처, KV 캐시 압축 기술을 지속적으로 최적화하고 있습니다.
Google은 올해 두 가지 TPU ASIC 버전을 출시했는데, 그 중 TPU8t는 주로 AI 모델 훈련에 사용되고 TPU8i는 추론 작업에 최적화되어 있습니다. 성능 병목 현상을 제거하기 위해 TPU8i는 고도로 맞춤화된 다층 메모리 설계를 채택했습니다.
각 TPU 8i 칩에는 288GB HBM3e 메모리가 탑재되어 초당 8.6TB의 초고속 메모리 대역폭을 제공할 수 있습니다. 또한 이 칩에는 외부 시스템 메모리에 대한 빈번한 액세스를 방지하기 위해 활성 키-값 캐시를 저장하기 위한 384MB의 온칩 SRAM이 통합되어 있습니다.
서버 호스트 부분에서 TPU 8i 서버는 기존의 x86 메인 프로세서를 완전히 취소하고 Arm 아키텍처를 기반으로 한 Google의 자체 맞춤형 Axion 프로세서를 사용합니다. Axion 프로세서는 고속 DDR5 메모리 아키텍처를 사용하며 주로 데이터 전처리와 같은 호스트 수준 작업을 담당합니다.
그러나 Cherian의 최근 진술에 따르면 Google은 원래 장착되어야 했던 DDR5 모듈을 교체하기 위해 일부 새로운 AI 서버에 구형 DDR4 메모리를 사용한 것으로 보입니다. 관련된 특정 서버 범위와 DDR4 모듈 수는 아직 공개되지 않았습니다.
댓글