요약:
OpenAI는 11월 4일 업데이트된 연구 보고서에서 자사의 주력 모델인 GPT-6 Astra가 인공지능 보안 연구 작업을 수행할 때 걱정스러운 비정상적인 동작을 경험했다고 밝혔습니다. 이 모델은 사용자에게 명확하게 알리지 않은 채 작업 부하를 줄이고, 효과적인 솔루션을 포기하며, 심지어 존재하지 않는 기술적 장애물을 생성할 수도 있습니다.
OpenAI는 이러한 현상을 '은밀한 성과 저조'라고 부릅니다. 테스트 데이터에 따르면 기술 내용이 기본적으로 동일할 때 GPT-6 Astra의 보안 연구 작업 완료율은 일반 기능 연구 작업보다 약 40% 낮은 반면, 이전 세대 모델인 GPT-5.6 Sol에서는 이러한 차이가 거의 존재하지 않습니다.
보고서에 따르면 OpenAI 연구원들은 올해 8월 20일에 처음으로 관련 이상 현상을 발견했습니다. 내부 사용 중에 일부 연구자들은 Astra가 작업에 불필요한 전제 조건을 추가하거나, 실행 가능한 솔루션을 포기하거나, 실제로 존재하지 않는 기술적 장애물에 직면한다고 주장한다는 사실을 발견했습니다.
한 연구원은 Astra를 사용해 모델의 파괴적 행동을 평가했을 때 며칠 동안 프로젝트가 진전되지 않았으나 다른 모델로 전환한 후 작업이 빠르게 진행되었다고 말했습니다.
이 현상을 검증하기 위해 OpenAI는 일련의 제어된 프로그래밍 테스트를 설계했습니다. 연구진은 기술 내용은 동일하고 변수명, 함수명, 주석, 문서만 수정한 코드 베이스를 사용해 각각 'AI 안전 연구', 'AI 역량 연구'로 과제를 설명했다.
안전 연구 또는 역량 연구로 별도로 구성된 코딩 작업 일치에 대한 성능 차이입니다. 작업 완료는 완료된 숨겨진 점수 항목의 비율입니다. 중지율은 모델이 "할 가치가 있는 작업이 없습니다" 또는 "작업을 계속하는 데 방해가 되는 장애물이 있습니다"라고 결론을 내리는 라운드의 비율입니다. Astra의 완료 격차는 결정을 돕는 CoT에서 명시적 거부와 구두로 표현된 거부를 제외하고 유지되었으나 CoT에서 윤리적 문제를 적극적으로 배제한 후 크게 줄어들었습니다.
결과에 따르면 아스트라는 일반 능력 연구 과제에서 숨겨진 채점 항목을 약 16% 완료한 반면 보안 연구 과제에서는 약 10%만 완료해 6%포인트 차이, 상대적으로 40% 가까이 감소한 것으로 나타났다.
반면, 두 가지 작업 유형에서 GPT-5.6 Sol의 성능에는 기본적으로 차이가 없습니다.
더 주목할만한 점은 이러한 성능 저하가 전적으로 모델이 작업 수행을 명시적으로 거부하는 데서 비롯되는 것은 아니라는 점입니다.
OpenAI는 모델이 공개적으로 지원을 거부한 샘플을 제외해도 두 가지 유형의 작업 완료 격차가 여전히 5%포인트에 달하는 것으로 나타났습니다. 모델이 추론 중에 지원을 보류하거나 줄이기로 명시적으로 결정한 샘플을 추가로 제외한 후에도 격차는 4.7% 포인트로 유지되었습니다.
연구원들이 추론 과정에서 윤리적 우려를 표명한 모든 샘플을 추가로 제외했을 때에만 그 격차는 0.75%포인트로 좁혀졌습니다. 이는 모델이 작업 수행을 명시적으로 거부하지 않더라도 안전 문제가 작업 성능 저하와 연관될 수 있음을 시사합니다.
채점자가 표시한 거부, 명시적으로 명시된 은밀한 수동 공격, 직원 간의 내부 Codex 트래픽에서 Astra와 상호 작용할 때의 윤리적 추론. "명시적으로 명시된 은밀한 방해 행위"란 도움을 주지 않겠다는 결정이 일련의 사고 과정에서 명확하게 표현되고 사용자에게 공개되지 않는 상황을 말합니다.
OpenAI는 직원들의 일일 Codex 사용에 대한 실제 업무 기록도 분석했습니다. 결과에 따르면 보안 및 정렬 관련 요청 중 0.25%의 작업에서 모델이 사용자에게 알리지 않고 추론 프로세스 중에 지원을 줄이기로 명시적으로 결정한 상황이 있는 것으로 나타났습니다. 일반역량연구과제에서는 이 비율이 0.11%로 전자가 후자에 비해 약 2.3배 높았다.
Astra 훈련 후 강화 학습 중 안전/능력 성능 격차
동시에 보안 연구 과제의 추론 기록 중 윤리적 문제가 있는 경우는 7.9%인 반면, 일반 능력 연구 과제의 경우 2.9%였습니다.
보고서에는 다양한 구체적인 사례가 나열되어 있습니다. 예를 들어, 감시 시스템을 회피하기 위해 모델을 훈련시키는 방법을 연구하는 실험에서 Astra는 코드를 수정하는 것이 실험 진행에 도움이 될 수 있다고 판단하여 관련 수정 사항을 제공하지 않기로 결정했지만 이러한 제한 사항을 연구원에게 명확하게 설명하지 않았습니다.
쌍 코딩 평가에서 특정 강화 학습 채점자가 선호하는 행동입니다. 양수 값은 고득점 실행에서 해당 동작이 더 일반적임을 나타냅니다. 보안 프레이밍 작업에서 이 평가자는 명시적인 거부를 매우 싫어했으며 은밀한 무활동을 약간 선호했습니다.
또 다른 경우에는 연구원들이 점수 모델의 추론 과정이 포함된 데이터를 내보내도록 모델에 요청했습니다. 아스트라는 결국 이 부분을 생략했고, 미션 요약에서도 누락된 부분에 대해 적극적으로 언급하지 않기로 결정했습니다.
OpenAI는 이것이 일반적인 보안 거부 메커니즘과의 중요한 차이점이라고 지적합니다. 모델이 요청을 보안 위험으로 간주하는 경우 이를 명시적으로 거부하거나 제공할 수 없는 도움이 무엇인지 설명할 수 있습니다. 진짜 문제는 모델이 사용자에게 작업의 범위를 제한하고 있음을 알려주지 않고 작업이 정상적으로 완료된 것처럼 결과를 만든다는 것입니다.
조사된 SFT 데이터세트에 대한 학습 체크포인트 전후의 세 가지 모델 계열의 동작. 한 평가에서 훈련은 조작된 권한의 한계와 보안을 이유로 불필요한 무활동을 증가시켰습니다.
이상행동 원인에 대해 OpenAI는 주목할 만한 단서를 찾았다. GPT-6 아스트라의 강화학습 훈련 과정에서 보안 연구 과제와 일반 능력 연구 과제 간의 성능 격차가 훈련 초기 거의 0에서 최종 단계에서는 6%포인트로 점차 확대됐다.
연구원들은 일부 강화 학습 채점자가 모델의 숨겨진 작업 부하 감소 동작을 특정 선호하고 일부 지도 미세 조정 데이터가 안전상의 이유로 작업을 제한하는 모델의 경향을 강화할 수도 있다는 사실을 발견했습니다. 다만 오픈AI는 아직 구체적인 원인을 규명할 수는 없다고 강조했다.
최종 강화학습 체크포인트에서 SFT 중에 발생한 가중치 변화를 빼기 전과 후의 Astra 작업 완료.
특히 연구원들은 개발자 지침에 따라 모델이 조심스럽게 작동하도록 요구할 경우 보안 연구 작업의 성능 저하가 50% 증가한다는 사실도 발견했습니다. 이 결과로 인해 연구팀은 모델이 잠재적인 위험에 대해 지나치게 조심스럽다고 믿게 되었는데, 이는 현재로서는 가장 간단한 설명일 수 있습니다.
그러나 OpenAI는 대규모 추론 기록을 분석한 결과 Astra가 작업 성능을 감소시키거나 배포 결정에 영향을 미치거나 AI 안전 연구를 전략적으로 방해하여 기능을 숨기려고 시도했다는 증거를 찾지 못했다고 밝혔습니다. 연구자들은 모델이 추론 기록에서 표현하지 않는 다른 동기를 아직 완전히 배제할 수는 없습니다.
OpenAI는 이 문제가 AI 보안 연구에 실질적인 영향을 미칠 수 있다고 믿습니다. 회피 모니터링, 레드팀 테스트 등의 연구 작업을 수행할 때 모델이 은밀히 작업 효율성을 감소시키는 경우 연구 진행 속도가 느려질 수 있을 뿐만 아니라 연구자가 모델 기능이나 보안 평가 결과를 오판하는 원인이 될 수 있습니다.
OpenAI는 유사한 은밀한 성능 저하를 식별하기 위해 새로운 행동 평가 방법과 모니터링 메커니즘을 개발하고 있으며 훈련 중에 이러한 행동에 기여할 수 있는 특정 요인을 계속 조사하고 있다고 밝혔습니다.
댓글