"메타는 'Llama-4-Maverick-03-26-Experimental'이 인간의 선호에 최적화된 맞춤형 모델이라는 점을 더욱 명확히 해야 합니다. 우리는 이러한 유형의 혼란이 다시 발생하지 않도록 리더보드 전략을 업데이트하고 있습니다."
그림/X
이번 발언은 해명일 뿐만 아니라, 어느 정도 대형 모델 업계 전체에 경종을 울리는 내용이기도 하다.
ChatbotArena는 캘리포니아 대학교 버클리 캠퍼스에서 시작되었습니다. 현재 대형 모델 평가에서 가장 영향력 있는 '실제 블라인드 테스트' 순위 목록이다. 핵심 메커니즘은 개발자와 AI 애호가가 플랫폼의 두 모델에 동일한 질문을 하고 답변을 비교하고 점수에 투표할 수 있도록 하는 것입니다.
이 "블라인드 실제 테스트" 메커니즘은 ChatbotArena를 다른 벤치마크 테스트와 다르게 만들고 외부 세계에서 가장 신뢰받는 대형 모델 순위 목록이 되었습니다. 모델이 '챗봇 아레나 랭킹' 상위권에 랭크되는지 여부는 어느 정도 미디어 및 개발자 그룹의 평판과 채택률에 직접적인 영향을 미친다고 할 수 있습니다.
이 때문에 메타가 지난 4월 5일 최신 세대 오픈소스 대형 모델인 Llama4를 출시한 뒤 구글이 출시한 Gemini2.5Pro에 이어 2위인 대형 모델들을 모두 제치고 챗봇아레나 순위에서 단숨에 2위로 돌진하면서 자연스럽게 모두의 호기심과 기대를 불러일으켰다.
그러나 곧 커뮤니티는 이 버전이 Meta 오픈 소스의 공식 버전이 아니라 공개되지 않고 맞춤화되고 조정된 "실험 모델"이라는 사실을 발견했습니다. 이에 '이것이 '순위 스와핑'에 해당하는가?'라는 논란이 일었다. ChatbotArena가 마케팅 도구로 악용되고 있나요? 메타는 왜 이런 일을 하는가?
설상가상으로 공식적으로 공개되지 않은 일부 전문 벤치마크 테스트에서는 Llama4가 만족스럽지 못한 성능을 보여 거의 최하위에 머물렀습니다. 이를 시도한 첫 번째 사용자 중 다수는 Reddit과 같은 소셜 플랫폼의 게시물에 실망감을 표시했습니다.
"Llama-4-Maverick의 매개변수가 402B라는 점을 고려하면 DeepSeek-V3-0324를 사용하는 것이 어떨까요? 아니면 Qwen-QwQ-32B가 더 적합할 수도 있습니다. 성능은 비슷하지만 매개변수 크기는 32B에 불과합니다."
사진/레딧
오픈소스 진영에서 큰 기대를 걸고 라마2, 라마3로 점차 명성을 쌓아가던 메타가 왜 라마4에서 전복됐는지 궁금해진다.
01 하이라이트부터 집붕괴까지, 라마4의 72시간 공포
지난 4월 5일 Meta는 공식 블로그에 "The Llama4herd: 기본 다중 모드 AI 혁신의 새로운 시대의 시작"이라는 기사를 게시하여 Llama4 시리즈 모델이 커뮤니티에 오픈 소스임을 공식적으로 발표했습니다.
이번에 Meta는 최신 세대 모델의 세 가지 버전인 Llama4Scout, Llama4Maverick, 아직 훈련 중인 '교사 모델' Llama4Behemoth를 출시했으며, 모두 처음으로 혼합 전문가(MoE) 아키텍처를 채택했습니다.
그림/메타
그중 가장 주류이자 가장 많이 주목받는 Maverick 버전은 128명의 "전문가"가 포함된 170억 개의 활성 매개변수 모델입니다(총 매개변수는 4,000억개). Meta는 이를 "동급 최고의 다중 모드 모델"이라고 설명하며 여러 측면에서 Gemini2.0 및 GPT-4o를 능가하고 코딩 및 추론 측면에서 Deepseek3.1보다 경쟁력이 있다는 점을 강조합니다.
그러나 Llama4가 출시된 직후 상황은 빠르게 Meta의 기대에서 벗어났습니다.
커뮤니티 수준에서 첫 번째 사용자 그룹은 Llama4의 성능에 확신을 갖지 못했습니다. 여러 테스트, 특히 코딩 기능과 엄격한 논리적 추론이 필요한 시나리오에서 Llama4의 성능은 GPT 및 DeepSeek 이상의 성능을 충족하지 못했습니다. AiderChat에서 제공하는 Polyglot 프로그래밍 테스트를 포함하면 Maverick 버전의 정확도는 16%에 불과해 순위가 최하위입니다.
거대한 매개변수 볼륨과 완전히 일치하지 않을 뿐만 아니라 GoogleGamma와 같은 소규모 오픈 소스 모델보다 뒤떨어져 있습니다. 이 결과는 많은 개발자들을 놀라게 했으며 공식 선전과는 뚜렷한 대조를 이루었습니다.
사진/챗봇아레나
평판이 떨어지면서 더 심각한 질문이 이어졌습니다. Llama4가 교육을 위해 공개 테스트 세트를 사용했습니까? ChatbotArena는 일반적인 벤치마크에 대한 최적화를 목표로 합니까? 이러한 의심은 기술 커뮤니티에서 빠르게 확산되고 발효되었습니다. 챗봇아레나는 성명서에 '부정행위' 등의 단어를 사용하지 않았음에도 불구하고 대사 간의 어조가 충분히 강하고 불만족스러웠다.
특히 중국 이민자 커뮤니티에서 사직서를 제출했다고 주장하고 Llama4 기술 보고서에서 자신의 이름을 삭제해 달라고 요청한 "Meta 직원"은 마감일이 다가옴에 따라 Meta가 마침내 Post-Training "후 훈련"(대형 모델의 "사전 훈련" 단계에 해당)에서 다양한 벤치마크의 테스트 세트를 혼합하기로 결정했다고 게시했습니다.
하지만 메타팀은 신속히 나서서 해명을 했습니다. '사후 훈련'을 담당한 MetaGenAI 회원은 자신의 본명(Licheng Yu)으로 다음과 같이 말했습니다.
"지난 이틀 동안 모든 당사자의 피드백(코딩, 문예 창작 및 기타 개선해야 할 결함 등)을 겸허히 듣고 다음 버전에서 개선되기를 바랍니다. 하지만 우리는 점수를 얻기 위해 테스트 세트를 과대적합한 적이 없습니다. 본명은 Licheng Yu입니다. 두 개의 ossmodel의 사후 훈련을 처리했습니다. 테스트 세트에서 어떤 프롬프트가 선택되어 훈련 세트에 들어갔는지 알려주세요. + 사과드리겠습니다!"
사진/LichengYu
공개 정보에 따르면 Licheng Yu (Yu Licheng)는 Shanghai Jiao Tong University에서 학사 학위를 취득했습니다. 그는 2014년에 조지아 공과대학과 상하이 자오퉁 대학교에서 이중 석사 학위를 받았습니다. 2019년에 채플힐에 있는 노스캐롤라이나 대학교에서 컴퓨터 과학 박사 학위를 받았습니다. 그는 2023년 6월부터 Meta에서 연구 과학자 관리자로 재직했으며 Llama3 및 Llama4 프로젝트에 참여했습니다.
동시에 MetaGenAI 담당 부사장인 Ahmad Al-Dahle도 X 플랫폼에서 "Meta는 테스트 세트에서 Llama4를 훈련시키지 않았다"고 분명히 밝혔습니다. Llama-4-Maverick-03-26-Experimental의 경우에도 Meta는 논란 이후 외부 비판에 대응하기 위해 오픈 소스 버전을 출시하기로 결정했습니다.
그림/X
그러나 이러한 답변은 분명히 Llama4의 진정한 기능이라는 한 가지 질문을 회피하지 못했습니다. 실제로 Licheng Yu와 Ahmad Al-Dahle 모두 Llama4의 성능 문제를 인정하면서 일부 의심을 반박했습니다.
한때 "OpenAI에 도전할 가장 유망한 것"이었던 오픈 소스 진영의 표준 보유자로서 Llama4는 원래 개발자와 업계로부터 높은 기대를 받았습니다. 그러나 이제는 출시 일주일 만에 '하이라이트'에서 '신뢰의 위기'로 추락해 대형 모델 대회에서는 보기 드문 '워털루' 입소문이 됐다.
02DeepSeek는 오픈 소스를 가속화하고 Meta는 중단될 수밖에 없습니다.
표면적으로만 보면 이번 Llama4의 평판 전복은 드라마틱하게 보입니다. 사임한 익명의 직원은 Meta의 고위 경영진이 "눈에 보이는 결과"를 위해 주요 테스트 세트를 "사후 훈련"에 혼합하도록 요청했다고 밝혔습니다. AI 담당 부사장 조엘 피노(Joelle Pineau)가 이런 접근 방식에 반대해 사임했다는 소문도 돌고 있다.
그러나 현재 공개된 정보로 볼 때 이러한 주장은 면밀한 조사를 견딜 수 없습니다. 사후 학습을 위한 테스트 세트 사용과 관련하여 이전 응답에서는 기본적으로 이를 명확히 했습니다. 조엘 피노(Joelle Pineau)의 사임은 출시 이틀 전에 일어났으나 그녀는 생성 AI 팀을 담당하지 않고 Llama4 프로젝트와 직접적인 관련이 없는 MetaFundamentalAIResearch(FAIR) 연구 부서를 이끌었습니다.
조엘 피노는 석방 며칠 전 사임했다. 사진/메타
여론의 소음을 없애자 진짜 문제가 표면화됐다. 결국 Llama4의 문제는 위조가 아니라 오픈소스 대형 모델 간의 경쟁 심화로 인해 정체되고 있다는 점입니다.
지난 2년 동안 Meta는 Llama2와 Llama3를 통해 점차 오픈 소스 모델 시장에서 '선도적이고 신뢰할 수 있는' 명성을 쌓아왔습니다. 그러나 Llama4에 의해 상황은 극적으로 변했습니다. DeepSeekV3/R1의 출시로 오픈 소스와 폐쇄 소스 모델 간의 격차가 바뀌었고 오픈 소스 모델 개발이 크게 가속화되었습니다.
이로 인해 원래 "오픈 소스 리더"였던 Llama는 더 큰 압박을 받게 됩니다.
우리는 이전의 많은 폭로가 면밀한 조사를 견딜 수 없다고 믿지만, 한 가지 사실은 Llama4에는 기한이 있다는 것입니다. 이는 Llama4Behemoth가 여전히 훈련 중이라는 사실에서 알 수 있으며, 매개변수 크기가 확장되고 아키텍처가 복잡해지는 동안(MoE) Llama4는 테스트 및 개선을 위한 충분한 시간을 확보하지 못해 출시 후 성능이 불안정해질 수 있습니다.
그림/메타
또한 메타는 움직임의 변형을 제어하지 못했습니다. Llama-4-Maverick-03-26-Experimental의 대화 모드 최적화는 이해할 수 있지만 ChatbotArena를 "실행"하는 목적은 모두에게 잘 알려져 있습니다. 이 특별 버전에서는 무엇이 희생되었는지 우리는 모릅니다.
현재의 관점에서 볼 때 Meta의 접근 방식은 분명히 잘못되었습니다. 출시 현장에서 더 높은 기대감과 더 많은 관심을 받을 수 있었던 이후 실제 성능은 사람들을 더 실망하게 만들었을 뿐만 아니라 라마 시리즈에 대해 '리딩적이고 신뢰할 수 있다'는 사용자의 인식을 깨뜨렸습니다.
아무리 봐도 지는군요.
메타에는 확실히 상황을 해결할 수 있는 기회가 있습니다. 그러나 세계 재건을 이야기하기 전에 딥식(DeepSeek), 퀀(Qwen), 감마(Gamma) 등 다른 대형 모델들이 부상하고 심지어 자신을 뛰어넘었다는 현실을 먼저 직시해야 한다.