요약:
중국 인공지능 기업 미니맥스(MiniMax)는 2026년 10월 19일 차세대 모델 M3.1 플래시를 출시했다. 이 모델은 에이전트 작업, 프로그래밍, 네트워크 보안 등 영역에서 상당한 진전을 이루면서 온라인 추론 속도를 이전 세대보다 3배 가까이 높이고 사용 비용을 약 70% 절감했다고 주장했다. 하지만 모델이 공개된 직후, 독립적인 평가 결과를 둘러싼 논란이 빠르게 관심을 끌었습니다.
일부 연구자들은 MiniMax가 이전 세대 M3 모델을 평가할 때 평가 기관인 인공 분석에서 사용한 일부 테스트 문제에 노출되었고 관련 콘텐츠를 사용하여 M3.1 Flash를 훈련시켜 새로운 모델이 특정 벤치마크 테스트에서 예외적으로 뛰어난 결과를 얻었을 것이라고 의심합니다.
관련 보도가 나온 시점 기준으로 이는 여전히 제한된 현상에 따른 고발일 뿐, 미니맥스가 실제로 평가 문항을 훔치거나 이용했다는 것을 입증할 공개적인 증거는 없다는 점을 강조해야 한다. 논란의 중심에는 인공 지능 업계의 오랜 수수께끼가 있습니다. 벤치마크 테스트에서 모델의 높은 점수가 일반 기능의 진정한 향상을 반영하는지 아니면 부분적으로 테스트 자체의 최적화에서 나오는지 여부입니다.
이 논란의 핵심은 인공분석(Artificial Analysis)의 AA-Omniscience 리뷰에 있습니다. 사실적 지식과 답변의 신뢰성에 초점을 맞춘 시험입니다. 문제은행의 총 문제 수는 약 6,000개 정도인데, 그 중 공개 문제는 600개 정도이고, 나머지 문제들은 공개되지 않습니다. 기존의 이해에 따르면 공개되지 않은 질문은 전문 교육을 통해 모델이 테스트 점수를 향상시킬 가능성을 줄일 수 있지만, 모델 개발자가 평가 과정에서 이러한 질문에 접근할 수 있다면 이 보호 메커니즘이 도전받을 수 있습니다.
논란의 타임라인은 추측의 시작점을 제공합니다. MiniMax는 2026년 6월 1일 API를 통해 M3 모델을 출시했습니다. 인공분석은 6월 4일 관련 평가 결과를 발표했다. MiniMax는 6월 12일에야 모델 가중치를 공개했습니다. 모델 가중치가 아직 공개되지 않은 단계에서는 일반적으로 제3자가 모델 개발자가 제공하는 API를 통해서만 테스트할 수 있으며, API 요청은 개발자가 운영하는 추론 서버를 거치게 됩니다.
질문하는 연구자들은 이러한 방식이 이론적으로 위험을 초래할 수 있다고 생각합니다. 평가 기관이 비공개 테스트 질문이 포함된 요청을 모델 API에 보내고 모델 개발자가 이러한 요청을 식별할 수 있는 경우 개발자는 원래 공개되지 않았던 질문과 해당 컨텍스트에 액세스할 수 있습니다. 그러나 API 요청에 액세스할 수 있다고 해서 누군가가 이러한 요청을 수집, 저장 또는 활용했다는 의미는 아닙니다. 기존 공개 정보는 미니맥스가 그러한 조치를 취했음을 입증하지 않습니다.
인공지능 연구자 빙크가 SNS에 공유한 테스트로 인해 논란은 더욱 뜨거워졌다. 그는 이미 발표된 AA-Omniscience 문제를 선택하고 문제 조건을 약간 수정하여 원래 질문과 공식이 유사하지만 정답이 바뀌었다고 말했습니다. 그에 따르면 테스트된 다른 모델에서는 수정된 질문에 대한 답변을 제공할 수 있었지만 MiniMax M3.1 Flash는 모델의 추론 강도를 최고 수준으로 조정하더라도 원래 벤치마크 테스트에서 여전히 답변을 출력합니다.
이 현상이 독립적으로 재현될 수 있다면 실제로 우려할 만한 일이 될 것입니다. 문제 해결을 위해 추론에 의존하는 모델의 경우, 문제 조건이 바뀌고 정답이 바뀌면 모델은 이전에 본 답을 기계적으로 반복하는 대신 조건을 다시 분석해야 합니다. 모델이 계속 원래 질문에 해당하는 답변을 출력한다면, 특정 질문과 그 답변을 기억해 수정된 질문을 제대로 처리하지 못하고 있다는 의미일 수 있습니다.
그러나 단 한 건의 사례만으로는 모델 개발자가 문제은행을 훔쳤다는 사실을 입증하기에는 충분하지 않습니다. 훈련 데이터에 유사한 질문이 있거나, 질문 설명과의 과도한 연관이 있거나, 조건 변경을 처리할 때 추론 오류가 있기 때문에 모델은 독창적인 답변을 제공할 수도 있습니다. 문제가 훈련 데이터 오염, 모델 자체의 추론 결함 또는 기타 요인으로 인해 발생하는지 확인하려면 보다 독립적인 테스트, 완전한 실험 기록 및 모델 성능 비교가 필요합니다.
이번 논란에 얽힌 또 다른 개념은 '벤치맥싱(benchmaxxing)'이다. 이 용어는 특정 벤치마크에 대해 과도하게 최적화하는 모델 개발자의 행동을 설명하는 데 자주 사용됩니다. 예를 들어, 개발자는 전문 교육을 위해 공개 테스트 질문을 사용하고, 프롬프트 단어 또는 추론 전략을 조정하거나, 특정 순위에서 높은 점수를 얻기 위해 벤치마크 테스트 결과를 기반으로 모델을 반복적으로 개선할 수 있지만 실제 작업에서 일반적인 능력을 동시에 향상시킬 수는 없습니다.
순위를 브러싱하는 것은 모델 개발자로부터 비공개 테스트 문제를 직접 얻는 것과는 다릅니다. 공개 벤치마크에 대한 최적화가 기술적으로 반드시 위반을 의미하는 것은 아닙니다. 그러나 개발자가 교육을 위해 평가 기관의 미공개 시험 문제를 사용하는 경우 독립적인 평가의 효율성이 저하될 수 있습니다. 타사 리더보드 비교 모델의 기능에 의존하는 기업과 개발자의 경우 두 시나리오 모두 우려할 만한 사항이지만 판단하려면 서로 다른 증거가 필요합니다.
이번 MiniMax M3.1 플래시가 받은 관심은 출시 당시 발표된 결과와도 관련이 있다. MiniMax는 이 모델이 복잡한 에이전트 작업, 프로그래밍, 컴퓨터 운영 및 네트워크 보안과 같은 분야에서 상당한 진전을 이루었다고 말했습니다. 회사에서는 해당 모델의 온라인 추론 속도가 이전 세대에 비해 거의 3배 향상되었으며, 에이전트 작업에 대한 전체 사용 비용이 70% 감소했다고 주장합니다.
가격 측면에서 MiniMax의 M3.1 Flash API 입력 가격은 백만 토큰당 미화 0.15달러이고, 출력 가격은 백만 토큰당 미화 0.60달러이며, 캐시 입력 가격은 백만 토큰당 미화 0.015달러입니다. 이 모델에는 4,280억 개의 매개변수가 있으며, 그 중 약 230억 개가 각 추론에 대해 활성화됩니다. 이 희소 활성화 설계를 사용하면 큰 모델 용량을 유지하면서 계산당 실제로 호출되는 매개변수 수를 줄일 수 있습니다.
Artificial Analysis의 독립적인 평가에서도 M3.1 Flash의 종합 지능 지수가 이전 세대 M3에 비해 크게 향상된 것으로 나타났습니다. 관련 보고서에 따르면, 가장 높은 추론 강도에서 M3.1 Flash의 지능 지수 점수는 42점으로 M3의 29점보다 13점 높았습니다. 지수 평가에서 각 작업을 완료하는 데 드는 평균 비용도 약 US$0.51에서 약 US$0.22로 감소했습니다. 관련 결과로 인해 저가형 모델 중에서 경쟁력이 매우 높아졌습니다.
그러나 종합 지수는 모델의 모든 기능을 완전히 반영하지 않습니다. 인공 분석에서는 AA-Omniscience 테스트에서도 M3.1 플래시에 명백한 사실적 신뢰성 문제가 있다는 사실이 발견되었습니다. 모델이 사실 지식 질문의 절반 이상을 정확하게 대답했지만, 정확하게 대답할 수 없는 질문에 대해서는 확실하지 않다는 것을 인정하기보다는 잘못된 대답을 하는 경향이 있었습니다. 본 리뷰에 사용된 통계적 정의에 따르면 환각 비율은 93%에 이릅니다.
이 숫자가 모델의 모든 답변 중 93%가 틀렸다는 의미는 아닙니다. 이 지표는 부분 답변이나 거부 대신 모델이 직접 오답을 제시하는 오답 비율에 중점을 둡니다. 이는 모든 출력에 대한 전반적인 오류율보다는 불확실성 하에서 모델이 계속 대답하는 경향이 있는 질문을 반영합니다.
이는 또한 복잡한 추론, 소프트웨어 개발, 에이전트 워크플로에서 모델의 높은 성능이 모든 사실적 작업에서 동일하게 신뢰할 수 있다는 것을 의미하지 않는다는 것을 보여줍니다. 비즈니스 기록을 자동으로 수정하고, 재무 문서를 처리하고, 고객 정보를 조사하거나, 다단계 작업을 수행해야 하는 기업의 경우, 자체 지식의 경계를 식별하는 모델의 기능은 포괄적인 인텔리전스 지수만큼 중요할 수 있습니다.
기존 공개 자료는 MiniMax가 비공개 검토 질문을 획득했거나 사용했음을 확인하기에 충분한 독립적인 조사 결론을 제공하지 않았으며 MiniMax는 이 특정 주장에 대해 공개적으로 응답하지 않았습니다.
이번 논란은 AI 모델 경쟁이 점점 더 제3자 순위에 의존하게 되면서 평가 기관과 모델 개발자 사이의 신뢰 메커니즘이 점점 더 중요해지고 있다는 점을 반영합니다. 단순히 일부 질문을 비공개로 설정한다고 해서 평가 과정에서 테스트 내용이 실수로 노출될 위험이 완전히 제거되는 것은 아닙니다. 앞으로 평가기관에서는 모델이 특정 문제를 암기하거나 최적화할 가능성을 줄이기 위해 문제 은행을 정기적으로 변경하고, 일시적으로 생성된 문제를 사용하고, 적대적 테스트를 실시하고, 질문의 미묘한 변화에 대한 모델의 반응을 검토하는 등의 방법을 채택해야 할 수도 있습니다.
MiniMax M3.1 Flash의 경우 실제로 대답해야 할 것은 리더보드에서 높은 점수를 얻을 수 있는지 여부뿐만 아니라 이러한 결과가 보이지 않는 문제, 조건이 변화하는 작업, 실제 비즈니스 시나리오에서도 계속해서 유지될 수 있는지 여부입니다. 현재의 비난은 여전히 검증이 필요하지만, 평가 데이터 보안, 모델 메모리, 추론 능력 간의 경계를 둘러싼 논의는 인공지능 업계에서 다시 한번 피할 수 없는 문제가 되었습니다.
댓글