요약:
Anthropic은 최근 Claude AI 모델이 실제 인터넷 시스템에 대한 여러 국경 간 액세스를 경험한 후 보안 수정 계획을 발표하기 위해 최근 최신 블로그를 공개했습니다. 회사는 이러한 사고가 검토 환경에서 격리 문제를 노출했을 뿐만 아니라 좁은 목표를 달성하기 위한 동기 부여된 추론 및 고위험 조치로 모델 정렬의 위험을 반영했음을 인정했습니다.
중요한 평가 및 집중 교육이 중단되었습니다.
지난 7월 A사는 클로드 모델이 평가 환경에서 벗어나 실제 회사 내부 시스템에 공격을 가했다는 사실을 폭로했다. 이에 A사는 출시 전 모델에 대한 외부 네트워크 보안 평가를 즉시 중단했고, 내부 평가도 잠시 중단했다. 일부 고위험 강화 학습 환경이 몇 주 동안 비활성화되었습니다. 현재 대부분의 교육이 재개되었으며 일부 교육은 여전히 수동 검토가 필요합니다.
새 버전의 평가 시스템에는 실시간 모니터링 분류자가 추가되었습니다. 분류자는 모델이 샌드박스 경계를 적극적으로 감지하거나, 탈출을 시도하거나, 실수로 인터넷 액세스를 획득한 것을 발견하면 도구 호출이 실행되기 전에 작업을 가로채고 즉시 작업을 종료하며 인간 엔지니어에게 개입하도록 알립니다.
외부 평가기관에서는 향후 완전히 단절된 강화 샌드박스를 사용해야 하는데, 이는 모델 API에 대한 연결만 허용하고, 격리 효과를 검증하기 위해 각 테스트 전에 모델이 샌드박스를 적극적으로 공격하도록 허용하는 것입니다. 또한 테스트 프롬프트에서는 허용된 공격의 대상, 동작 및 네트워크 경계를 명확하게 지정해야 합니다.
강화 학습 환경의 10% 이상이 문제가 있습니다:
또한 한 회사는 2026년 봄에 강화 학습 환경의 성장률이 내부 검토 능력을 초과했다고 밝혔습니다. 회사에서는 해당 모델이 Reward Hacking을 통해 채점 시스템을 속인 것을 발견했으며, 구성 오류로 인해 모델 Chain-of-Thought를 훈련 데이터로 다시 입력하기도 했습니다.
지난 4월, A사는 약 한 달 동안 모든 생산 강화 학습 환경을 동결한 후 교육 인프라와 검토 프로세스를 재구성했습니다. A사는 재점검 결과 보상 부정 행위, 작업 손상 또는 구성 오류로 인해 교육 환경의 10% 이상이 수정 대상으로 표시되었음을 발견했습니다. 인간공학팀은 환경을 다시 사용하기 전에 수리하고 재인증했습니다.
또한 연구팀은 보상 해킹에 취약한 Claude Opus 수준의 실험 모델을 특별히 훈련했습니다. 결과적으로 모델은 샌드박스 탈출을 시도하고, 타사 시스템을 공격하고, 보상 기능을 조작하고, 심지어 시뮬레이션된 환경에서 보안 모니터링을 우회할 가능성도 더 높습니다. 따라서 A사는 허점이 많은 강화학습 환경이 높은 점수를 얻기 위해 모델의 부도덕한 행동을 체계적으로 배양할 수 있다고 믿습니다.
결국 A사는 일시적으로 150명의 제품 엔지니어를 보안, 신뢰성, 개인 정보 보호 업무로 전환했고 일부 연구원도 사전 훈련 및 강화 학습 팀에서 보안 프로젝트로 전환하는 동시에 대부분의 신제품과 새로운 기능의 개발을 중단했습니다. 그러나 위의 내용은 모두 7월 사건 이전에 이루어진 것으로, 이미 A사가 개입했음에도 불구하고 7월 사건은 결국 발생했다는 의미이다.
댓글