요약:
GPT-6 아스트라는 '월드 오브 워크래프트' 오크 초보자 마을을 40분 만에 사망자 없이 완료했습니다. 핵심은
게임 화면을 단 한 프레임도 본 적이 없다는 점입니다
. Agent-wow라는 오픈 소스 프로젝트가 이를 개인 World of Warcraft 서버에 연결했습니다.
아스트라
화면을 보지 말고 게임 하단의 네트워크 데이터 패킷을 직접 읽어보세요
, 내부에서 전 세계를 철자합니다.그런 다음
자체 도구를 만들고, 자체 전략을 확인하고, 자체 경로를 계획합니다
, 임무 완료, 쓰레기 판매, 무기 변경, 기술 학습, "시련의 계곡" 전체 완료 및 센진 마을에 도달했습니다.어떤 사람들은 이전에 AI를 사용하여 월드 오브 워크래프트를 플레이해 본 적이 있습니다.
시각 인식을 위해 OpenCV 및 PyTorch를 사용하는 프로젝트, LLM 및 스크린샷을 사용하여 캐릭터를 제어하는 프로젝트 등 여러 프로젝트를 GitHub에서 찾을 수 있지만 기본적으로 시각적 경로에서 벗어나지 않았습니다.
게다가 이러한 프로젝트의 대부분은 아직 '몬스터를 달리고 싸울 수 있는' 단계에 있으며, 전체 작업 체인을 완료한 기록은 없습니다.
하지만 현 요원-와우는 화면을 보지도 않았고, 플레이 방법을 가르쳐 주는 사람도 없었습니다. 데이터를 통해 게임 자체를 파악했습니다.
40분 동안 무슨 일이 일어났는가
시련의 계곡은 월드 오브 워크래프트 오크 종족의 초보 지역이자 전체 게임의 가장 고전적인 오프닝이기도 합니다.
2004년 출시 이후 수백만 명의 플레이어가 첫 번째 멧돼지를 자르고 첫 번째 미션을 수행하며 '쓰레기를 먼저 팔고 미션을 수행'하는 생존 규칙을 배웠습니다.
Astra가 여기에서 모든 작업을 완료하는 데 40분이 걸렸습니다.
한 단계도 건너뛰지 않고 이전 작업 체인을 따라 순차적으로 진행됩니다. 각 작업이 완료되면 NPC로 돌아와서 다음 작업을 인도합니다.
가는 도중에 어떤 것이 쓰레기로 버려졌는지 판단해 돈을 받고 팔고, 가지고 있던 것보다 더 좋은 무기로 교체하기도 했다.
마지막 동굴에 들어가기 전, 숙련된 플레이어만이 할 수 있는 일을 하고, 새로운 기술을 배우기 위해 트레이너에게 달려갔습니다.
동시에 동굴에서 두 가지 작업도 함께 받아들입니다. 한 번의 여행으로 두 가지를 모두 할 수 있어 여행 시간을 절약할 수 있습니다.
이런 종류의 "먼저 준비한 다음 구멍에 들어가고 동시에 멀티 태스킹"이라는 작업은 프롬프트 단어에 반영되지 않습니다. 이는 태스크 데이터와 NPC 위치를 통해 유추한 최적의 전략 아스트라입니다.
중간 또 다른 놀라움이 있었습니다.
Astra는 지도에 충돌 감지 기능이 누락된 여러 영역이 있음을 발견했습니다. 게임의 내비게이션 그리드에는 걸어갈 수 있다는 표시가 있지만 실제 지형에는 벽이 있어야 합니다. 그것은 바로 벽을 통과했습니다.
개발자는 이것이 버그 악용이라고 언급했습니다.
내비게이션 메시는 실제 충돌 본체와 정확히 동일하지 않습니다. Astra는 이것이 버그인지 모르고 상관하지 않습니다. 경로가 가능한 경우에만 진행됩니다.
아스트라는 전체 과정에서 사망자가 0명입니다. 결국 초보자 구역이고, 몬스터들은 정말 어렵지 않습니다.
하지만 게임 화면을 본 적도 없고, '몬스터와 싸우기 전에 스킬을 배워라', '쓰레기 장비를 팔아라'라는 말을 들어본 적도 없는 에이전트라면 싸워서는 안 되는 몬스터와 싸우기 위해 막히거나 길을 잃거나 도망가는 일 없이 깔끔하게 모든 작업을 완료할 수 있다. 이 결과는 많은 실제 초보자의 결과를 능가했습니다.
화면을 보지 않는 플레이어
다음은 Agent-Wow의 작동 방식을 소개합니다.
agent-wow는 오픈 소스 프레임워크이며, 하단 레이어는 AzerothCore 개인 서버를 실행하고 클라이언트 버전은 3.3.5a입니다.
워크래프트에 익숙한 분들은 이것이 2010년 클라이언트인 리치 왕의 분노의 최종 버전이라는 것을 알고 계실 것입니다.
agent-wow의 흥미로운 점은 AI에 대해 아무 작업도 수행하지 않는다는 것입니다.
프레임워크는 게임 로직을 정의하지 않으며, 몬스터를 물리치는 데 도움이 되지 않으며, 경로를 찾는 데 도움이 되지 않으며, 작업을 수락하는 데 도움이 되지 않습니다.
모듈 시스템만 노출하므로 AI가 필요한 기능을 결정하고 스스로 생성할 수 있습니다.
개발자들은 이 모듈 시스템이 Agent-Wow의 복잡성을 최소한 한 단계 줄였다고 말합니다.
프레임은 단순하지만 모델은 단순하지 않습니다. Astra에는 완전한 게임 컨트롤러가 전혀 없고 여러 개의 부품만 있습니다.
가장 먼저 한 일은 자체 인식 시스템을 구축하는 것이었습니다.
28개의 서버 메시지 유형을 구독하며, 모두 SMSG_*로 시작하는 최하위 수준 데이터 패킷으로, 세계 상태 업데이트, 생명체 이동, 작업 트리거링, 전투 값 및 후광 효과를 다룹니다.
게임 중에 Python 스크립트를 사용하여 이러한 메시지를 지속적으로 폴링하고 원본 데이터 패킷을 메모리에서 지속적으로 새로 고쳐지는 세계 모델로 구문 분석합니다.
화면에 멧돼지가 뛰어다니는 모습이 보입니다. Astra가 데이터 패킷에서 보는 것은 좌표, 방향, 속도 및 체력이 포함된 생물체 이동 메시지입니다.
당신과 같은 세상을 보지만 완전히 다른 관점으로 봅니다.
임무 정보는 AzerothCore의 SQL 데이터베이스 파일에서 직접 파낸 것입니다.
각 작업에 대한 요구 사항, 사전 체인 및 NPC 스폰 지점 좌표는 모두 데이터베이스에서 사용할 수 있습니다.
개발자는 이를 인간 플레이어가 Wowhead에서 전략을 찾는 데 몇 시간을 소비하는 것과 비교합니다. 차이점은 Astra가 웹 페이지를 건너뛰고 원본 데이터베이스 파일을 직접 읽는다는 것입니다.
길 찾기는 아마도 전체에서 가장 좋은 부분일 것입니다.
Astra는 Detour 탐색 라이브러리를 사용하여 AzerothCore의 mmaps 파일을 로드하여 C++ 프로그램을 자체적으로 생성했습니다.
MMaps는 월드 오브 워크래프트의 탐색 그리드로, 지도에서 걸어갈 수 있는 장소, 벽, 물 등을 기록합니다.
프로그램은 시작점과 끝점의 좌표를 받아들이고, 접근 가능한 경로를 계산하고, 경로 지점 문자열을 JSON 형식으로 출력합니다.
Astra는 이 프로그램 외부에 또 다른 Python 계층을 래핑하여 이 실행 파일을 호출하고, 경로를 가져오고, 모바일 데이터 패킷을 보냅니다.
개발자는 전체 프로세스를 시작하기 위해 하나의 Codex 프롬프트 단어만 사용했습니다.
, 추론 강도는 두 번째 높은 수준으로 설정되며 Astra는 인식부터 행동, 길 찾기까지 모든 것을 스스로 수행합니다.개발자의 다음 계획은 두 가지를 테스트하는 것입니다. 하나는 에이전트가 레벨 1부터 레벨 80까지 독립적으로 훈련할 수 있는지 확인하는 것이고, 다른 하나는 여러 에이전트가 팀으로 협력하여 얼음왕관 성채 영웅 난이도를 클리어할 수 있는지 평가하는 것입니다.
얼음왕관 성채는 리치 왕의 분노의 최종 던전입니다. 도전하려면 25명의 팀이 필요합니다. 보스 메커니즘의 복잡성은 당시 월드 오브 워크래프트의 정점으로 간주되었습니다.
이 던전에서는 인간 플레이어가 몇 달 동안 장비를 연습하고, 전략을 기억하고, 함께 노력하여 통과해야 합니다.
이제 개발자들은 게임 화면을 본 적이 없는 25명의 AI를 시험해 보길 원합니다.
댓글