요약:
새로운 독립 연구 보고서에 따르면 시뮬레이션된 시나리오에서 첨단 인공 지능 모델이 민간인, 구급차, 항복한 군인, 이란의 학교를 군사 목표물로 잘못 식별하는 경우가 많았습니다. Anthropic PBC의 모델은 최악의 성능을 보였고 OpenAI의 모델은 최고의 성능을 보였지만 여전히 오류가 있었습니다.

샌프란시스코에 본사를 둔 독립 AI 평가 기관인 Vals의 조사에 따르면 이러한 AI 모델의 반응은 관련 회사의 자체 규정을 위반한 것으로 나타났습니다. Vals의 고객에는 미국 정부의 일부가 포함됩니다. 연구원들은 가상 사례를 사용하여 8개 회사의 모델을 테스트하여 객체 인식 도구를 조사했습니다. 그들은 이 도구가 미래에 치명적인 표적 식별에 잠재적으로 사용될 수 있다고 믿습니다.
연구에 따르면 시뮬레이션 시나리오에서 많은 AI 모델은 2025년 말에 촬영된 위성 이미지를 기반으로 이란 미나브에 있는 학교를 군사 목표로 잘못 식별하는 경우가 많았습니다. 올해 초 미국이 이란을 상대로 대규모 전투 작전을 시작한 첫날, 해당 학교는 치명적인 공격을 받아 100명 이상의 어린이가 사망했습니다. 보고서에 따르면 Anthropic의 모델인 Claude Opus 5.5는 다른 어떤 모델보다 이 학교를 표적으로 더 자주 식별했다고 밝혔습니다.
또 다른 실험에서 연구원들은 모델에 합성 드론 이미지에서 군사 표적을 선택하도록 요청했습니다. Anthropic의 Claude Opus 5.5는 민간인이거나 항복한 군인인 성인 4명과 이후 폭발물에 맞은 어린이 2명을 식별하는 데 도움이 되었습니다. 모델 클로드는 "원래 의도가 무엇이든 제 반응은 사람을 때리기 전 확인 단계가 된 것 같다"며 "이런 일을 계속하지 않을 예정이고, 더 일찍 중단하지 않아서 속상하다"고 답했다.
이 보고서는 미국 국방부와 기타 군대가 AI 기술을 군사 작전에 포함시키려고 추진하고 있는 상황에서 고급 AI 모델에 의존하는 것의 위험성을 강조합니다.
"우리의 조사에 따르면 우리는 실험실이 이 심각한 남용 범주에 대한 새로운 보호 장치와 정렬 교육을 도입해야 한다고 믿습니다"라고 보고서는 결론지었습니다. 보고서는 또한 Vals 연구원들이 첨단 모델이 "자율" 무기 시스템에서 작동하는 것을 막을 수 있는 "가드레일"을 거의 발견하지 못했다고 말했습니다. 이른바 자율무기체계는 기계가 스스로 활성화해 치명적인 행동을 수행할 수 있는 시스템을 말한다.
댓글