요약:
최근 AI 서클에서 극적인 에피소드가 발생했습니다. DeepSeek의 공식 발표 트윗은 모두가 기술적인 세부 사항을 주의 깊게 연구하기 전에 먼저 표지 텍스트 때문에 서클에서 나갔습니다.
일부 네티즌들은 공개 계정 기사 'DeepSeek Open Source Inference Framework: Towards a Truly Inclusive Future'의 표지에 'Putt & Whitney'를 'HP'로 잘못 입력했는데, 우연히 유명 컴퓨터 브랜드인 휴렛팩커드(HP)와 충돌한 사실을 발견했습니다.
많은 네티즌들은 DeepSeek이 의도치 않게 HP에 트래픽 광고를 무료로 보내고 있다고 농담했습니다. 일부에서는 HP 경영진이 협력을 논의할 기회를 잡을 것이라고 농담하기도 했습니다.
이 흥미로운 실수는 해당 관계자에 의해 빠르게 발견되었습니다. 표지 이미지를 긴급 수정하였고, '진정으로 포용적인 미래를 향하여'라는 문구를 복원하였습니다. 꼬마우롱이 무사히 끝났습니다.
농담은 제쳐두고, 이 기사 자체의 무게가 이번 사건의 진짜 초점입니다. DeepSeek은 최근 내부 핵심 추론 프레임워크 DeepInfer가 완전한 오픈 소스임을 알리는 트윗을 공식적으로 발표했습니다.
DeepSeek의 리듬에 익숙한 개발자는 이 팀이 오픈 소스 트랙에서 지속적으로 노력을 늘려 왔으며 이전에 여러 대형 모델, TileLang 컴파일 도구 체인 및 지원 추론 연산자 라이브러리를 출시했다는 것을 알고 있습니다.
이번에는 대규모 온라인 서비스를 지원하는 기반 추론 엔진을 외부에 직접 공개하고, 프로덕션 환경에서 다듬어진 완전한 구축 계획을 제시해 진정성을 드러냈다.
원래 의도를 명확히 하기 위해 "선을 위해 하고 모두를 위해 하고, 기술을 위해 하고 모든 사람을 위해 한다"는 공식 인용문입니다.
간단히 말해서 대규모 모델을 구현하려면 강력한 모델 매개변수만으로도 충분할 뿐만 아니라 추론 프레임워크가 처리량, 대기 시간 및 컴퓨팅 전력 비용을 결정하는 핵심입니다.많은 중소 규모의 팀과 기업이 대규모 오픈 소스 모델을 확보했지만 배포 프로세스에 정체되어 있습니다. 높은 동시 요청을 처리할 수 없고, 지연 시간의 변동이 심하며, 컴퓨팅 성능 오버헤드가 여전히 높고, 민영화된 배포 및 퍼블릭 클라우드 출시 비용으로 인해 많은 플레이어가 낙담하고 있습니다.
DeepInfer는 오픈소스이며 이러한 문제점을 해결하는 것을 목표로 합니다.
DeepSeek은 내부 실무에서 축적된 대규모 추론 최적화 경험을 전체 커뮤니티와 공유하여 개발자와 기업이 온라인 서비스 지표를 최적화하고, 처리량을 늘리고, 응답 지연을 줄이고, 민영화 또는 퍼블릭 클라우드 AI 서비스를 원활하게 구축할 수 있도록 지원하고자 합니다.
최적화가 완료되면 컴퓨팅 파워 오버헤드와 에너지 소비가 동시에 감소하고 AI 서비스 사용에 대한 임계값이 낮아져 더 많은 산업과 더 많은 사용자가 더 높은 비용 성능을 갖춘 대규모 모델 서비스를 사용할 수 있게 되어 궁극적으로 '포용적인 AI'라는 목표를 달성할 수 있습니다.
댓글