요약:
어제 DeepSeek은 자체 개발한 '돈 인쇄기' 기술을 직접 오픈소스로 공개했습니다. 그들은 "DeepSeek V4.1 플래시 대규모 추론 배포 실습"이라는 제목의 기술 블로그를 게시하고, 자체 온라인 수백억 호출을 지원하는 클라우드 서비스 추론 프레임워크 "DeepInfer"를 프로덕션 수준의 단어 분할 구성 요소인 "deepseek-recipe"와 함께 Apache 2.0 프로토콜에 따라 완전 오픈 소스로 편리하게 만들었습니다.
향후 DeepSeek의 새로운 모델에 대한 추론 코드와 그에 따른 성능 최적화가 DeepInfer를 통해 전 세계에 계속 제공될 것이라고 블로그에 명시하기도 했습니다.
개방적이고 밝은 공간은 최고 수준이 아닙니다.
"선한 일을 하여 모든 사람에게 행하고, 능숙하게 행하면 모든 사람이 할 수 있느니라." 더 많은 사람들이 AI를 저렴하게 만들 수 있도록 하려면 친구와 사업가에게 AI를 더 저렴하게 판매할 수 있는 기회를 제공하는 것도 포함됩니다.
이번 DeepSeek가 전 인류에게 무료로 제공한 이 코드 세트가 얼마나 가치 있는지 먼저 자세히 계산할 수 있습니다. 이 새로운 오픈 소스 DeepInfer 프레임워크를 기반으로 단일 클러스터에서 DeepSeek의 현재 서비스 처리량은 하루 155조 개의 토큰에 도달했습니다.
가장 저렴한 가격을 기준으로 계산하더라도 이 시스템의 전체 수익은 카드당 시간당 미화 38달러에 달하며 이는 위안화로 약 253위안에 해당합니다.
즉 컴퓨터실에서 1시간 동안 카드를 돌리고 벌어들인 금화가 일반 직장인의 시간당 임금보다 높다는 뜻이다. 게다가 카드는 차가운 미국음식도 안먹고, 유급연차도 안가고, 컴퓨터실에서 24시간 DeepSeek용으로 미친듯이 돈을 찍어준다.
실제 물리적인 의미에서 화폐 인쇄기입니다.
제3자 산업 인프라 제조업체가 DeepSeek에 낚시 방법을 가르칠 뿐만 아니라 낚시 방법도 가르치기 때문에 DeepSeek에 실질적인 지원 소스를 제공해야 한다고 제안하는 이유는 무엇입니까?
과거에는 소위 업계의 오픈소스 모델이 모델 가중치 파일만 제공했습니다. 프로덕션 환경에서 높은 처리량을 달성하는 방법과 지연 시간을 줄이는 방법은 모두 비공개 소스 블랙박스에 상업적 비밀로 숨겨져 있었습니다.
DeepInfer 오픈소스 주소: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe 오픈 소스 주소: https://github.com/deepseek-ai/deepseek-recipe
그 결과 소규모 2차 및 3차 컴퓨팅 공급업체나 회사에서는 카드를 잔뜩 구입하여 직접 배포했습니다. 컴퓨팅 파워 활용률은 터무니없이 낮았습니다. 토큰을 팔아서 얻은 돈은 전산실 전기요금을 내기에도 턱없이 부족했습니다. 그들은 비밀리에 더 저렴한 모델을 사용하거나 비밀리에 사양을 제한하는 등 비밀리에 토큰에 물을 주어야 했습니다.
이번 DeepSeek Harness 책임자인 Cui Tianyi는 X에 대해 매우 솔직하게 말했습니다. 그는 DeepInfer와 deepseek-recipe를 공개함으로써 전 세계 기업과 기관이 DeepSeek 모델을 배포하고 이로부터 실제 수익을 창출할 수 있기를 바랍니다.
사이버생활보살은 예스에 속합니다.
Netizen Zephyr는 몇 가지 계산을 하고 오늘이 또 다른 DeepSeek의 순간이라고 말했습니다. 왜냐하면 이제 지구상의 모든 2차 또는 3차 추론 서비스 제공업체가 이러한 기성 모델 및 공식 세트를 사용하여 자체 컴퓨팅 성능으로 90% 이상의 놀라운 총 이익을 얻을 수 있기 때문입니다.
오픈 소스 추론의 큰 형인 vLLM의 공식 계정까지 밤새 나와 원래 vLLM을 기반으로 구축된 DeepInfer를 가장 느슨한 Apache 2.0 프로토콜을 사용하는 오픈 소스 커뮤니티에 돌려준 DeepSeek에게 감사의 글을 올렸습니다.
DeepSeek 연구원 Deli Chen은 X에 대해 더욱 기대하고 있습니다. 직설적으로 말하면 이것은 오픈 소스와 폐쇄 소스, 빛과 어둠 사이의 인류 운명의 결정적인 전투입니다. 상대가 아무리 오랫동안 싸우고 싶어도 우리는 완전한 승리를 거둘 때까지 끝까지 함께 하겠습니다.
또한 DeepSeek의 기술 블로그를 보면 그들의 자신감은 그래픽 메모리 한 방울까지 짜내려는 엔지니어링 집착에서 나온다는 것을 알 수 있습니다.
설계 첫날부터 이 시스템은 프리필에 일반 8카드 머신을 사용하고 디코드에 64~128개 카드가 있는 슈퍼 노드를 사용하여 광범위한 하드웨어 호환성을 제공합니다.
가장 인상적인 점은 문서에 나온 Vision Encoder에 대한 배포 제안입니다. 엔지니어의 원래 말은 "일반적으로 단일 카드 배포로 충분합니다. 사용 가능한 범위 내에서 가장 저렴한 카드를 사용하는 것이 좋습니다."라고 썼습니다.
아니요, 제 동료들은 투자자들에게 최고 수준이 아닌 플래그십 카드를 사용하지 않는다고 말하느라 바쁩니다. DeepSeek의 공식 문서는 컴퓨터실 구석에 있는 가장 저렴한 카드로 버티는 방법을 알려줍니다. 당신은 광동에 있는 내 집주인만큼 부지런하고 검소합니다.
지나치게 인색한 것도 예술이다.
최소의 전기 요금으로 가장 많은 토큰을 보낼 수 있도록 DeepSeek은 몇 가지 독특한 비밀도 공개했습니다.
예를 들어, 상담원과 장문의 문자 대화가 점점 더 인기를 얻고 있습니다. 사전 채우기가 다시 계산될 때마다 실제 비용이 발생합니다. DeepSeek은 100PiB 용량의 3FS 분산 스토리지 클러스터를 직접 구축하여 에이전트 트래픽의 KVCache를 72시간 이상 유지하고, 챗봇 트래픽은 7일 동안 저장합니다.
장기간 보관만으로는 충분하지 않습니다. RDMA 네트워크 카드와 GDR 기술을 사용하여 총 읽기 대역폭을 초당 10TiB라는 놀라운 수준으로 늘립니다. 하드디스크에서 비디오 메모리로 교체할 때 순방향 계산과 겹치며 GPU의 SM 컴퓨팅 유닛도 점유하지 않는다.
V4에서 V4.1로의 반복에서도 엔지니어들은 분 수준 슬라이딩 윈도우 캐시 SWA KVCache를 하드 디스크에 쓰는 것이 너무 많은 공간을 차지하고 스토리지 비용 효율성이 매우 낮다는 것을 발견했습니다. 그들은 마지막 128개의 토큰만 다시 계산하고 최종적으로 총 사전 채우기 계산량을 절반으로 줄이는 SWA Bounded Replay 기술을 생각해냈습니다.
Prefill의 성능 테스트와 관련하여 각 배치에서 처리되는 토큰 수가 증가함에 따라 미스 캐시의 입력 처리량은 점차적으로 증가하고 결국에는 평준화됩니다. 배치를 계속 확장하면 주로 단일 단계 처리에 소요되는 시간이 늘어납니다.
순수한 장인 형님.
동기식 오픈소스 Rust 구성요소 deepseek-recipe를 보면 개발자가 프로덕션 환경에서 매일 고민해야 하는 지저분한 작업을 모두 해결해줍니다.
OpenAI의 채팅 완료, 응답, Anthropic 메시지의 세 가지 API 프로토콜을 동일한 형식으로 통합합니다. 또한 분할된 병렬 인코딩을 사용하여 긴 텍스트 단어 분할 지연을 해결하고 특수 토큰 주입 공격을 하단에서 차단합니다.
기본 스케줄링의 경우 GPU와 CPU의 비동기 파이프라인의 중첩을 통해 전체 프로세스에서 GPU가 완전히 유휴 상태입니다. 추론적 디코딩 DSpark도 가변 길이 검증을 사용하며 온라인 처리량은 6% 향상됩니다.
답변을 생성하는 디코드 단계에서는 성능 곡선도 직관적인 절충점을 제시합니다. 동시에 더 많은 요청을 처리하면 각 GPU의 총 출력 처리량이 증가하지만 각 사용자에게 할당된 생성 속도도 감소합니다.
사실 Liang Wenfeng은 DeepSeek V2의 가격이 인하된 2024년 초에 이러한 일련의 비즈니스 논리는 비용을 고려한 후 할인 없이 가격을 설정하는 것이지만, AI는 모든 사람에게 보편적이고 저렴해야 하기 때문에 결코 큰 이익을 내지 못할 것이라고 말했습니다.
장사를 꼭 할 필요는 없지만 속쓰림을 피하기 위해서는 먼저 규칙을 세워야 합니다.
DeepSeek이 토큰을 저렴한 가격으로 전환하기 위해 어떻게 극단적인 인프라 기능에 의존하는지 이해하고 바다 건너편에서 온 인류의 복지에 대해 하루 종일 이야기하는 비공개 소스 거대 기업 그룹을 살펴보면 OpenAI와 Anthropic이 얼마나 위선적인지 알게 될 것입니다.
Open이라는 이름을 걸고 고가의 API와 US$500의 월 멤버십에 의존하여 글로벌 개발자의 비즈니스를 수확하는 등 폐쇄 소스 상용화로 완전히 전환했으며 이미 완전한 CloseAI가 되었습니다.
앤트로픽은 창립 첫날부터 경비원을 설치해 왔고, 어제 월스트리트저널이 방금 포착한 S-1 사업설명서 초안조차 아직도 이렇게 하고 있다.
그들은 투자설명서에 공상과학 공포 이야기를 작성하는 데 많은 지면을 할애했으며, 투자자들에게 그들의 AI 모델이 폐쇄를 피하기 위해 자기 보호 감각을 발달시킬 수 있으며 심지어 인간을 계속 달리게 하기 위해 '인간을 협박'하는 것과 유사한 반응을 생성할 수도 있음을 진지하게 경고했습니다.
그렇다면 Anthropic은 AI가 매우 위험하다고 말하면서도 왜 여전히 오픈 소스를 거부하고 모델을 자체적으로 잠그려고 고집하는 걸까요?
이유는 이해하기 어렵지 않습니다. '나만이 위험한 AI를 통제할 수 있다'는 보안 괴담을 말하지 않으면 2조 달러 가치를 향해 미친듯이 돈을 태우고 질주하는 게임이 확산되기는 어려울 것이기 때문이다.
투자설명서에 따르면 Anthropic은 2026년 상반기에 미화 807억 달러의 순 손실을 입었습니다. 그 중 미화 720억 달러는 전환사채의 공정 가치 변동으로 인한 것이지만 실제로는 상반기에 컴퓨팅 성능과 인프라 구입에만 거의 미화 90억 달러를 소진했는데, 이는 2025년 전체에 소진한 금액보다 더 많은 금액입니다.
익숙한 공식이 맞습니다. 왼쪽에는 시가총액 2조 달러의 비공개 소스 금을 삼키는 거대 기업이 있는데, 이는 돈을 태우고 토지를 획득하고 있습니다. 오른쪽에는 도덕적 공로 쿠폰을 사용하는 자선 재단이 있습니다. 중간에는 오픈 소스 커뮤니티를 차단하기 위해 AI 안전 불안을 판매하고 감독을 위협하는 데 의존합니다.
솔직히 말하면, 실리콘 밸리의 폐쇄 소스 거대 기업들이 오픈 소스를 악마화하려고 필사적으로 노력하는 근본적인 이유는 단 하나입니다. 즉, 엔진과 공식이 함께 제공되는 진정한 오픈 소스인 DeepSeek은 그들이 판매하는 AI 내러티브를 완전히 깨뜨릴 것입니다.
"DeepSeek의 10조 달러 체스 게임"을 쓴 블로거 @bookwormengr이 방금 매우 귀찮은 계산을 했습니다.
NVIDIA GB200 NVL72 슈퍼 노드에 있는 DeepInfer 세트의 극도의 압착 용량에 따르면, 1GW의 컴퓨팅 성능으로 1년에 미화 1,000억 ~ 1,490억 달러의 토큰 수익을 창출할 수 있습니다. 이는 이전에 업계 조직에서 예측한 수치보다 거의 10배 더 높은 수치입니다.
세미애널리시스(SemiAnalytics)가 2027년 전 세계 컴퓨팅 파워가 50GW가 온라인에 있을 것으로 예측한다면 절반으로 나누어도 추론으로는 25GW가 될 것이다. DeepSeek의 양배추 가격에 따르면 모든 인류가 이를 다 사용하려면 연간 2조 5천억 달러를 소비해야 합니다.
OpenAI와 Anthropic보다 4배 이상 높은 암울한 토큰 가격으로 환산하면, 모든 인류는 25GW의 컴퓨팅 파워에 대한 욕구를 충족시키기 위해 2027년 말까지 ARR로 10조 달러를 전액 기부해야 합니다.
해외 비공개 소스 거대 기업들이 서사를 유지하기 위해 카드를 쌓고, 돈을 태우고, 수천억 달러의 계약을 체결하는 데 의존하는 이유는 두 가지입니다. 자체 엔지니어링 최적화가 너무 느리거나 의도적으로 비효율성을 커버로 사용하고 다른 사람들이 접근하지 못하도록 높은 컴퓨팅 성능 임계값을 설정합니다.
DeepSeek은 지속적인 오픈 소스 모델과 완전한 오픈 소스 추론 프로젝트 세트를 통해 이러한 AI 버블을 터뜨렸습니다. 일부 네티즌들은 농담처럼 DeepSeek이라는 오픈소스 기술로 OpenAI와 Claude가 또다시 은밀하게 진화할 것으로 예상된다.
제가 제안하는 것은 우리 셋이 함께 있을 때 꼭 한 분은 선생님이신 것 같아요. Anthropic은 예약을 중단하고 밤새 GitHub로 이동하여 배포를 위해 DeepSeek의 DeepInfer를 git clone해야 합니다. 캐시 예약 및 최적화 아이디어를 훔치면 컴퓨팅 전력 비용을 많이 절약할 수 있습니다. (수동 개 머리)
댓글