요약:
마찬가지로 10가지 프로그래밍 작업을 모두 올바르게 수행하기 위해 새 버전의 DeepSeek 비용은 Claude Opus 5.5에 비해 40% 미만이었고 각 작업의 평균 대기 시간은 2분 더 길었습니다.
10월 17일 DeepSeek은 V4.1-Flash-1017을 출시했으며 가격은 변동이 없었습니다. 출시 후 개발자들은 이미 이를 사용하여 게임을 만들고, 웹 페이지를 구축하고, 코드를 수정했습니다.
실제 수준을 테스트하기 위해 개발자 Ibragim Badertdinov는 일상 업무에서 10가지 작업을 선택하고 DeepSeek V4.1-Flash-1017의 높은 추론 기어와 Opus 5.5 및 GPT-6 Astra의 낮은 기어를 사용하여 동일한 프로그래밍 도구 세트에서 다양한 모델을 3번 실행했습니다.
실제 테스트 결과 세 가지 모델 모두 테스트를 통과했지만 과금과 시간 소모로 인해 격차가 더 벌어졌습니다. DeepSeek은 작업당 평균 0.045달러만 지출했는데, 이는 Opus의 0.1168달러, GPT-6 Astra의 약 0.26달러에 비해 훨씬 낮았습니다. 그러나 Opus와 GPT는 완료하는 데 각각 37초와 55초가 걸렸지만 DeepSeek은 2분 38초가 걸렸습니다.
이 10가지 작업은 모두 규모가 작습니다. 완전한 프로젝트로서 DeepSeek, GPT, Claude 사이의 격차는 단지 조금만 더 기다리면 되는 문제일까요?
01에서 10가지 질문을 모두 통과하여 DeepSeek는 비용을 절약하고 Opus는 시간을 절약합니다
Ibragim이 선택한 주제는 Python 및 TypeScript를 사용하여 데이터 처리, 백엔드, 프런트엔드 및 배포와 관련된 에이전트 사용에 대한 약 3개월 간의 기록에서 나왔습니다. 그는 평소 1시간 이내에 완료할 수 있는 작업을 골라 자동 점검 프로그램을 추가했다.
그가 공개한 간단한 예는 데이터 배치를 로컬 데이터 테이블로 가져오는 것입니다. 성공적으로 가져오는 것 외에도 프로그램은 중복 레코드를 건너뛰고, 충돌하는 숫자를 거부하고, 만족스럽지 못한 데이터를 보고해야 합니다. 오래된 데이터를 교체할 때 쓰기 도중에 원본 콘텐츠를 삭제할 수 없습니다. 테스트에서는 빈 입력, 데이터 충돌, 원본 파일 손상 등을 확인합니다.
세 가지 모델 모두 이러한 검사를 통과했지만 DeepSeek는 더 많은 조치를 취했습니다.
또한 Pi 프로그래밍 도구에서 실행되는 DeepSeek는 작업당 평균 15.3단계, Opus는 3.7단계, GPT-6 Astra는 6.5단계를 수행합니다. DeepSeek의 총 토큰 사용량은 약 547,000개, Opus의 총 토큰 사용량은 약 31,000개입니다.많이 사용하는데 요금이 오르지 않아요. Ibragim은 거의 모든 DeepSeek 입력이 캐시에 적중했으며 기록된 캐시 적중률은 97.9%에 달했다고 설명했습니다. 547,000개의 토큰은 모델에 의해 새로 작성된 것이 아닙니다. 이렇게 긴 답변에는 여러 차례의 통화를 통해 반복적으로 전송되는 내용이 포함되었습니다. 저렴한 캐시 입력 덕분에 이 테스트 비용은 테스트당 5센트 미만으로 유지되었습니다.
사용자에게 이 2분이 어떤 영향을 미칠지 여부는 화면 앞에서 기다렸는지 여부에 따라 달라집니다. 작업을 넘겨주고 다른 일을 한 후에는 기다리는 것이 방해가 되지 않을 수 있습니다. 결과를 확인한 후 즉시 다음 수정 작업을 수행하려면 이 테스트 세트에서 Opus 및 GPT의 속도가 더 유용합니다. 여기서 비교되는 것은 ChatGPT 또는 Claude 구독 패키지의 월별 요금이 아니라 API를 통해 작업을 완료하는 데 드는 비용입니다.
이전 버전에 비해 새 버전도 개선되었습니다. Ibragim은 이전에 Flash 9월 버전의 가장 높은 추론 설정을 사용하여 테스트했으며, 30번의 실행 중 28번을 통과했으며, 각 테스트의 평균 시간은 4분 30초였습니다. 이번에는 새로운 버전의 고급 설정을 사용해 30번을 모두 통과했고, 시간은 2분 38초로 단축됐다.
02 0.38달러로 BMW를 만들었지만 일반 웹페이지를 실행하는데 40분이 걸렸습니다
이번 DeepSeek이 보여주고자 하는 것은 단순히 함수를 채우는 것이 아닙니다. 공식 출시된 사례로는 자금성 3D 장면, 웹 레이싱 게임, Godot로 제작한 "포털 2" 재현 시연 등이 있습니다. 회사 측은 새 버전이 셀프피드백을 통한 강화학습을 통해 프로젝트를 처음부터 완료하는 능력이 향상됐다고 밝혔다.
개발자 Fabiano Firmo는 그에게 Three.js를 사용하여 BMW M5의 3D 모델을 만들어 달라고 요청했습니다. 그가 게시한 사진에는 빨간색 자동차가 디스플레이 페이지에 나타나고 그 옆에 색상 옵션이 표시됩니다.
그에 따르면 이번에는 알림을 한 번만 주었는데 비용은 0.38달러이고 1시간 10분이 걸렸습니다.
일부 사용자는 자동차가 경기장에서 축구를 하는 '로켓 리그'와 유사한 게임도 시연했습니다. X 사용자 Markets & Mayhem은 물리 효과가 정상적으로 작동하고 플레이할 수 있지만 여전히 다듬기가 필요하다고 언급했습니다. 웹페이지나 게임의 프로토타입을 먼저 만들고 싶은 사람에게는 이 데모가 모델 시험 점수보다 사용법을 더 쉽게 확인할 수 있습니다.
그러나 3D 자동차를 보기 위해 한 시간 이상 기다릴 의향이 있다고 해서 일반 웹페이지를 만들기 위해 그렇게 오래 기다릴 의향이 있다는 의미는 아닙니다.
개발자 Alex Carter는 DeepSeek Harness에게 일반 랜딩 페이지를 생성해 달라고 요청했는데 실행하는 데 41분이 걸렸다고 말했습니다. 다음 두 웹 페이지 작업에는 각각 43분과 40분이 더 걸렸습니다. 그는 그 모델이 똑똑하고, 저렴하고, 잘 표현되어 있다고 생각했지만, 그 페이지는 수년간의 작업이었으며 보통 10분 안에 완료할 수 있었습니다.
개발자 unbug도 비슷한 느낌을 갖고 있습니다. 모델은 더 똑똑해졌지만 너무 오래 생각하고 행동을 미루기 쉽습니다. 또 다른 사용자 Elshayib는 자신의 불만이 초당 출력되는 단어 수에 관한 것이 아니라 모델이 행동하기 전에 생각하는 데 너무 오랜 시간이 걸린다고 강조했습니다.
API 플랫폼 OmniaKey의 테스트에서는 이 긴 추론 출력을 기록했습니다. Python 연산 규칙에 따라 표현식을 계산하는 프로그램을 작성하려면 새 버전의 Flash가 필요하며 기성 구문 분석 도구를 호출할 수 없습니다. 모델이 30가지 검사 사용 사례를 모두 통과하는 데 약 88초가 걸렸습니다. 약 20,700개의 토큰 출력 중 약 19,700개가 콘텐츠로 간주되었습니다.
그러나 모든 작업에서 Flash가 느린 것은 아닙니다. OmniaKey의 또 다른 테스트에서는 독일어와 영어가 혼합된 송장 이메일에서 10개 필드를 추출하여 5.2초 만에 모든 항목에 올바르게 응답했습니다. 두 도시의 날씨와 시간을 쿼리하는 도구 호출은 2.6초 만에 완료되었습니다. OmniaKey 자체는 모델 API를 판매하며 이러한 각 테스트 세트는 한 번만 실행됩니다.
이러한 BMW 모델링 및 랜딩 페이지 예시는 동일한 주제에 대한 세 모델의 비교가 아닙니다. deepSeek의 완성품이 얼마나 되는지, 나중에 몇 번 수정될지는 여전히 동일한 요구 사항 하에서 GPT 및 Claude와 비교될 필요가 있습니다.
03 기어를 내린 후 1분 빨라졌고 3번의 실패가 더 발생했습니다
추론을 높게 설정하면 시간이 오래 걸리기 때문에 낮추면 어떻게 되나요? Ibragim도 테스트했습니다.
Pi에서는 새 버전의 DeepSeek을 낮은 설정으로 조정한 후 항목당 평균 시간이 2분 38초에서 1분 31초로 단축되고 비용도 US$0.045에서 US$0.0257로 절감됩니다. 그러나 30개 중 3개는 실패했다.
높은 수준에서 획득한 모든 패스는 그대로 유지될 수 없습니다.
이 낮은 수준에서 DeepSeek의 자체 하네스로 전환했는데 결과가 다시 바뀌었습니다. 30번 실행에서 29번을 통과했는데, 이는 Pi보다 2번 더 많았습니다. Ibragim의 기록에 따르면 공식 도구 환경은 Pi에서 누락된 경계 조건을 모델이 처리하는 데 도움이 되었습니다.
두 가지 도구 세트는 모델에 따라 다르게 작동합니다. DeepSeek Harness는 파일을 읽고 편집할 수 있는 도구를 직접 제공하는 반면 Pi는 주로 명령줄을 통해 모델을 작동할 수 있습니다. 전자의 시스템 프롬프트 단어도 더 깁니다. 이번에 도구를 변경한 후 토큰 사용량이 약 75% 증가했으며, 평균 소요 시간은 1분 31초에서 1분 53초로 늘어났습니다. 두 도구 세트 모두에서 9개의 작업만 연속으로 세 번 통과할 수 있습니다.
동일한 모델이라도 추론 장비와 도구 세트를 변경하면 속도, 비용, 성공 여부가 달라집니다.
다른 사람이 게시한 결과만 볼 수 있지만, 그 사람이 어떤 설정을 사용했는지도 알아야 합니다.DeepSeek은 출시 당시 DeepSeek Harness, Tencent CodeBuddy, WorkBuddy와 같은 최적화된 도구가 있음을 분명히 언급했으며 Harness 사용자에게 v0.2.1-rc.1 이상으로 업그레이드할 것을 권장했습니다.
이 업데이트는 웹페이지, 앱, API에 출시되었습니다. API 호출은 여전히 deepseek-flash를 사용하며 가격은 변경되지 않습니다. 새로운 모델 가중치도 MIT 프로토콜에 따라 공개되었습니다.
그러나 이전 프로그래밍 테스트는 파일을 읽고, 코드를 수정하고, 검사를 실행할 수 있는 도구에 모델을 연결하여 완료되었습니다. 채팅창에 코드를 작성해 달라고 요청하는 것과 프로젝트를 넘겨받아 달라고 요청하는 것은 다릅니다. 사용환경이 다릅니다.
04동일한 질문의 경우 GPT와 Claude가 더 저렴할 수 있습니다
Opus와 Astra는 두 회사의 주력 제품이며 OpenAI와 Anthropic도 더 저렴한 모델을 보유하고 있습니다.
동일한 Ibragim 테스트에서 GPT-6 Luna의 xhigh 기어와 Haiku 5.5의 high 기어는 모두 30번을 통과했습니다. 각 품목의 평균 가격은 각각 US$0.0145와 US$0.0208로 DeepSeek보다 저렴했습니다.
두 사람의 평균 소모 시간은 각각 2분 46초, 2분 08초이다.이로 인해 더 이상 '비싼 GPT, Claude' 또는 '저렴한 DeepSeek'을 선택할 수 없게 되었습니다. 이미 Luna 또는 Haiku를 사용하여 작은 작업을 처리하는 사람들은 Flash로 전환해도 추가 비용을 절약하지 못할 수 있습니다.
더 어려운 작업은 얼마나 오래 기다려야 하는지에서 결과를 신뢰할 수 있는지 여부로 질문을 변경합니다. X 사용자 Yum은 새 버전을 사용해 본 후에도 여전히 환각 현상, 특히 여러 파일에 걸친 재구성 및 아키텍처 수정이 가장 걱정된다고 말했습니다. 그는 DeepSeek가 자신의 솔루션을 승인하도록 하는 대신 다른 모델이 변경 사항을 확인하도록 하려고 했습니다. 이는 GPT나 Claude가 더 신뢰할 수 있음을 증명하기 위한 동일한 질문에 대한 테스트가 아니라 그가 선택한 사용법입니다.
따라서 현재 가장 확실한 진전은 DeepSeek의 새 버전이 실제 소규모 프로그래밍 작업에서 플래그십 모델과 동일한 검사 결과를 제공했다는 것입니다.
대규모 프로젝트에서 수동 수정이 필요한 횟수와 문제를 복구할 수 있는지 여부에 따라 교체가 얼마나 진행될 수 있는지가 결정됩니다.
3D 자동차를 제작하는 것과 장기적으로 프로젝트를 유지하는 것 사이에는 아직 해야 할 일이 많습니다.Ibragim도 이번 테스트를 더욱 어렵게 만들기 위해 준비하고 있습니다. 그는 게시물 끝에서 다음 단계는 훨씬 더 어려운 작업 그룹을 선택하고 다양한 도구와 모델을 비교하는 것이라고 말했습니다.
댓글