DeepSeek의 오픈소스 셋째 날, 업계에 어떤 영향을 미칠까요?

오픈소스 주간 셋째 날인 2월 26일, DeepSeek는 효율적인 FP8GEMM 라이브러리 DeepGEMM의 오픈을 발표했습니다. 지난 3일 동안 DeepSeek의 릴리스는 모두 알고리즘과 관련이 있으며 더 기술적입니다.

대형 모델 생태 커뮤니티 OpenCSG(Open Expression)의 창립자인 첸 란(Chen Ran)은 차이나비즈니스뉴스에 “과거에는 딥식(DeepSeek)이 직접 차를 주고 모두에게 그 차의 주행 가능 거리가 900㎞라고 말했지만, 지금은 딥식(DeepSeek)이 어떻게 900㎞까지 주행할 수 있는지 알아보기 위해 더 깊이 파고들고 있다”고 일례를 들었다. DeepSeek의 모델이 더 나은 결과를 얻을 수 있는 이유, 일부 알고리즘과 해당 프레임워크가 있으며 이러한 "비계"의 오픈 소스는 미래의 생태학적 건설에 도움이 됩니다.

이번에 공개된 키워드 중 GEMM(General Matrix Multiplication)은 선형대수학의 기본 연산이고, FP8GEMM은 8비트 부동 소수점 수를 사용해 행렬 곱셈을 하는 계산 연산이다. FP8은 딥러닝과 고성능 컴퓨팅에 적합한 저정밀 부동 소수점 형식입니다. 높은 컴퓨팅 효율성을 유지하면서 메모리 사용량과 대역폭 요구 사항을 줄일 수 있습니다.

DeepSeek에 따르면 DeepGEMM은 기존의 밀집 모델과 MoE(혼합 전문가) 모델의 GEMM 작업을 모두 지원합니다. 이 코드는 NVIDIA Hopper 아키텍처(예: H100GPU)를 기반으로 하는 V3/R1 시리즈 하드웨어에 대한 효율적인 교육 및 추론 지원을 제공합니다.

DeepSeek은 이 코드 기반을 기반으로 NVIDIA Hopper 아키텍처 GPU에서 1350+FP8TFLOPS(초당 부동 소수점 연산)의 성능을 달성하여 컴퓨팅 성능을 최대한 활용할 수 있다고 언급했습니다. 동시에 코드 기반 설계는 매우 간단하여 핵심 커널 기능이 하나 뿐이고 코드 크기는 약 300라인이지만 대부분의 매트릭스 크기에서 전문가가 조정한 커널보다 성능이 뛰어납니다.

오픈소스 DeepGEMM은 어떤 영향을 미치나요? 기자는 DeepSeek에 이 질문을 했고 DeepGEMM은 FP8과 하드웨어 수준 최적화를 통해 대형 모델 컴퓨팅 효율성과 리소스 소비의 문제점을 해결했으며 특히 MoE 모델 구현을 위한 핵심 지원을 제공했다고 응답했습니다. 오픈 소스 행동은 기술의 민주화를 가속화할 뿐만 아니라 AI 컴퓨팅 생태계의 '인프라'가 되어 보다 효율적이고 저렴한 방향으로 산업 발전을 촉진할 수 있습니다.

FP8은 AI 컴퓨팅의 새로운 표준입니다. 효율성이 높기 때문에 수천억 개의 매개변수 모델 훈련을 가속화하고 비디오 메모리 요구 사항을 줄일 수 있습니다. 에지 장치나 클라우드에 배포하면 FP8의 정밀도가 낮은 계산을 통해 처리량을 크게 향상하고 비용을 절감할 수 있습니다. 따라서 오픈 소스 DeepGEMM은 FP8 생태계의 대중화를 촉진하고, 개발자가 사용할 수 있는 임계값을 낮추며, FP8에 적응할 수 있는 더 많은 프레임워크와 모델을 촉진하고, 업계가 저정밀 컴퓨팅으로의 마이그레이션을 가속화할 수 있습니다.

또한 MoE 모델은 계산 복잡성으로 인해 구현하기가 어렵습니다. DeepGEMM의 오픈 소스는 효율적인 구현 참조를 제공하여 더 많은 MoE 애플리케이션(예: 다중 모드 모델, 에지 측 효율적인 모델)으로 이어질 수 있습니다.

3일 연속 DeepSeek의 오픈 소스 코드 기반에 대해 Chen Ran은 기자들에게 "우리는 그것에 상당히 충격을 받았습니다"라고 말했습니다. DeepSeek의 궁극적인 목표는 R1과 V3가 어떻게 만들어지는지 보여주는 것입니다. 그는 현재 DeepSeek이 발표한 알고리즘이 어떤 의미에서는 "비계"라고 믿습니다. “모든 사람이 DeepSeek 기반의 기술 라인을 계속해서 사용할 수 있도록 모든 사람에게 ‘비계’를 제공해야 하며, 궁극적으로 이를 기반으로 업계가 생태계를 구축할 수 있습니다.”

장기적으로 Chen Ran은 DeepSeek의 오픈 소스 이니셔티브가 매우 의미가 있다고 믿습니다. 모델 표준, 도구 표준, 생태 초석을 모두 갖추고 있어 생태계가 성장할 수 있습니다.

Chen Ran은 DeepSeek의 코드 오픈 소스가 AIInfra 레이어에서 작업하는 실무자 그룹에 영향을 미칠 수 있다고 판단했습니다. "DeepSeek은 기본적으로 기술 스택과 모델을 제공하지만 데이터가 부족하지만 다른 사람들도 데이터를 재현할 수 있습니다. AIInfra 계층에 있는 사람들은 새로운 방향을 찾아야 할 것입니다." 하지만 그는 이런 종류의 오픈소스가 양날의 검이라고도 말했습니다. DeepSeek의 오픈소스 콘텐츠를 잘 활용할 수 있다면 이익을 얻을 수도 있습니다. "잘 사용하지 않으면 맞을 것이다."

일부 실무자들은 기자들에게 DeepSeek의 오픈 소스가 Infra 계층의 추론 가속화라고 말했습니다. DeepSeek의 기반 기술에 대한 오픈 소스는 실무자에게 영향을 미치겠지만 그 규모가 그리 크지 않을 수도 있습니다.

"DeepSeek이 업계에 미치는 영향은 이제 막 시작되었으며, 그 결과는 누구도 추측할 수 없습니다." 위에서 언급한 실무자가 말했다.

DeepSeek은 앞서 소스 5개의 코드 라이브러리를 차례로 공개할 것이라고 발표한 바 있습니다. 다음으로 DeepSeek은 이번 주에 두 개의 코드 라이브러리를 더 출시할 예정입니다. "공유되는 코드 한 줄 한 줄이 AI 산업 발전을 가속화하는 집단적 동기가 될 것입니다." DeepSeek은 발표에서 이렇게 말했습니다.