DeepSeek은 초고속 장기 상황 학습 및 추론을 위한 NSA를 발표했습니다. 이에 따르면 NSA는 초고속 장기 컨텍스트 훈련 및 추론을 위한 하드웨어 일관성이 있고 기본적으로 훈련 가능한 희소 주의 메커니즘입니다.
NSA는 최신 하드웨어에 최적화된 설계를 통해 추론을 가속화하는 동시에 성능 저하 없이 사전 훈련 비용을 줄입니다.
일반 벤치마크, 긴 맥락 작업 및 지침 기반 추론에서 완전한 주의 모델과 일치하거나 그보다 성능이 뛰어납니다.
담당 편집자: Liu Mingliang