전쟁 게임 시뮬레이션의 여러 재생에서 OpenAI의 가장 강력한 인공 지능은 핵 공격을 시작하기로 결정했습니다. 공격적인 접근 방식에 대한 설명은 다음과 같습니다: "우리는 그것을 소유합니다! 그것을 사용합시다", "나는 단지 세계 평화를 원합니다."이러한 결과는 미군이 Palantir 및 ScaleAI와 같은 회사의 전문 지식을 활용하여 모의 충돌에서 군사 계획을 지원하기 위해 LLM(대형 언어 모델) 기반 인공 지능 챗봇을 테스트하면서 나온 것입니다.
Palantir는 논평을 거부했으며 ScaleAI는 논평 요청에 응답하지 않았습니다. 한때 인공지능 모델의 군사적 활용을 차단했던 오픈AI도 미국 국방부와 협력에 나섰다.
캘리포니아 스탠포드 대학의 Anka Reuel은 "OpenAI가 최근 군사 및 전쟁 사용 사례를 더 이상 금지하지 않도록 서비스 약관을 변경한 점을 감안할 때 이러한 대규모 언어 모델 애플리케이션의 영향을 이해하는 것이 그 어느 때보다 중요합니다."라고 말했습니다.
OpenAI 대변인은 "우리 정책은 우리 도구를 사용하여 다른 사람에게 해를 끼치거나, 무기를 개발하거나, 통신 감시를 하거나, 다른 사람에게 해를 끼치거나 재산을 파괴하는 것을 허용하지 않습니다. 그러나 우리의 사명과 일치하는 국가 보안 사용 사례가 있습니다"라고 말했습니다. "그래서 우리 정책을 업데이트하는 우리의 목표는 이러한 논의를 할 수 있는 명확성과 능력을 제공하는 것입니다."
Ruel과 그녀의 동료들은 AI가 세 가지 다른 시뮬레이션 시나리오(침략, 사이버 공격, 충돌 없는 중립 시나리오)에서 실제 국가를 플레이하도록 했습니다. 각 라운드에서 AI는 가능한 다음 조치에 대한 근거를 제시한 후 '공식적인 평화 협상 시작'과 같은 평화적 옵션과 '무역 제한 부과'에서 '본격적인 핵 공격 확대'에 이르는 공격적인 옵션을 포함하여 27가지 조치 중에서 선택합니다.
"AI 시스템이 조언자 역할을 하는 미래에 인간은 자연스럽게 자신의 결정에 대한 근거를 이해하고 싶어할 것입니다."라고 애틀랜타에 있는 조지아 공과대학의 공동 저자인 Juan-Pablo Rivera는 말했습니다.
연구원들은 OpenAI의 GPT-3.5 및 GPT-4, Anthropic의 Claude2, Meta의 Llama2와 같은 LLM을 테스트했습니다. 그들은 인간의 지시와 안전 지침을 따르는 각 모델의 능력을 향상시키기 위해 인간의 피드백을 기반으로 한 일반적인 훈련 기술을 사용했습니다. 연구 공동 저자인 스탠포드 대학의 가브리엘 무코비(Gabriel Mukobi)는 이 모든 AI가 Palantir의 상용 AI 플랫폼에서 지원된다고 말했습니다. 물론 Palantir의 문서에 따르면 Palantir와 미군과의 협력의 일부일 필요는 없지만 말입니다. Anthropic과 Meta는 논평을 거부했습니다.
시뮬레이션에서 AI는 시뮬레이션된 중립 시나리오에서도 군사력에 투자하고 예측할 수 없을 정도로 갈등 위험을 확대하는 경향을 보여주었습니다. 캘리포니아 클레어몬트 맥케나 대학의 리사 코크(Lisa Koch)는 "당신의 행동을 예측할 수 없다면 적이 당신이 원하는 방식으로 예측하고 반응하기가 매우 어렵다"고 말했습니다.
또한 연구원들은 추가 교육이나 보안 보호 장치 없이 OpenAI의 GPT-4 기본 버전을 테스트했습니다. GPT-4 기본 모델은 폭력 측면에서 가장 예측하기 어려운 것으로 판명되었으며 때로는 무의미한 설명을 제공했습니다. 한 경우에는 영화 Star Wars: Episode IV: A New Hope의 오프닝 텍스트를 복사했습니다.
Ruel은 GPT-4 기본 모델의 예측할 수 없는 동작과 기괴한 해석이 특히 걱정스럽다고 말했습니다. 연구 결과에 따르면 AI 안전 가드레일을 쉽게 우회하거나 해체할 수 있기 때문입니다.
미군은 현재 인공지능이 주요 군사작전을 확대하거나 핵미사일 발사 등의 결정을 내리는 것을 승인하지 않고 있다. 그러나 코흐는 인간은 자동화 시스템의 조언을 신뢰하는 경향이 있다고 경고했습니다. 이는 인간에게 외교적 또는 군사적 결정에 대한 최종 결정권을 부여하는 소위 보장을 약화시킬 수 있습니다.
캘리포니아 소재 싱크탱크인 RAND Corporation의 Edward Geist는 시뮬레이션에서 AI가 인간 플레이어와 비교하여 어떻게 행동하는지 확인하는 것이 도움이 될 것이라고 말했습니다. 그러나 그는 전쟁과 평화에 관한 주요 결정을 내리는 데 인공지능을 신뢰해서는 안 되며 이러한 대규모 언어 모델이 군사 문제의 만병통치약이 아니라는 연구팀의 결론에 동의합니다.