포켓몬은 인공지능의 강력한 벤치마크인가? 연구진은 슈퍼 마리오 브라더스가 더 도전적이라고 생각합니다. 캘리포니아 대학교 샌디에이고 캠퍼스 하오 인공지능 연구소(HaoAILab) 연구원들은 지난 금요일 슈퍼 마리오 브라더스 게임의 라이브 스트리밍에 인공지능을 적용했습니다. Anthropic의 Claude3.7이 가장 좋은 성능을 보였으며 Claude3.5가 그 뒤를 이었습니다. Google의 Gemini1.5Pro와 OpenAI의 GPT-4o는 성능이 좋지 않았습니다.
아시다시피 Super Mario Bros.의 버전은 1985년에 출시된 원래 버전과 정확히 동일하지 않습니다. 게임은 에뮬레이터에서 실행되며 GamingAgent 프레임워크와 통합되어 인공 지능이 Mario를 제어할 수 있습니다.
HaoAILab이 개발한 GamingAgent는 게임 스크린샷은 물론, "장애물이나 적이 접근하면 왼쪽으로 이동/점프하여 피하세요" 등 인공지능에게 기본적인 지시를 제공합니다. 그런 다음 AI는 Mario를 제어하는 입력을 Python 코드 형식으로 생성합니다.
그러나 Hao는 게임이 각 모델이 복잡한 작업을 계획하고 게임 전략을 개발하도록 "학습"하도록 강요한다고 말했습니다. 흥미롭게도 연구소에서는 추론 모델(예: 솔루션에 도달하기 위해 문제에 대해 단계별로 "생각"하는 OpenAI의 o1 모델)이 대부분의 벤치마크에서 일반적으로 더 강력함에도 불구하고 "비추론" 모델보다 성능이 떨어진다는 사실을 발견했습니다.
연구원들은 추론 모델이 실시간 게임을 플레이하는 데 어려움을 겪는 주된 이유 중 하나가 행동을 결정하는 데 시간이 걸리기 때문이라고 말합니다. 종종 몇 초 정도 걸립니다. Super Mario Bros에서는 타이밍이 모든 것입니다. 1초는 안전한 점프를 할 것인지 아니면 심연에 빠지는 것의 차이를 의미할 수 있습니다.
게임은 수십 년 동안 인공지능의 벤치마크로 사용되어 왔습니다. 그러나 일부 전문가들은 AI의 게임 기술을 기술 발전과 연결하는 것이 지혜로운지에 대해 의문을 제기합니다. 현실 세계와 달리 게임은 추상적이고 상대적으로 단순한 경향이 있으며 이론적으로 인공 지능 훈련을 위한 무제한의 데이터를 제공합니다.
최근의 화려한 게임 벤치마크는 OpenAI 연구 과학자이자 창립 멤버인 Andrej Karpathy가 "평가 위기"에 직면해 있음을 시사합니다.
"나는 지금 당장 어떤 [AI] 지표를 살펴봐야 할지 정말 모르겠습니다. TLDR, 내 반응은 지금 이 모델이 얼마나 좋은지 정말 모른다는 것입니다."라고 그는 X에 올린 게시물에 썼습니다.
하지만 적어도 AI가 마리오를 플레이하는 모습은 볼 수 있습니다.