요약:
OpenAI는 최근 인공지능 안전 연구에 참여한 직원 3명을 해고했습니다. 이번 사건을 계기로 회사 내부 안전 문화와 직원들이 자유롭게 위험 경고를 제기할 수 있는지 여부가 빠르게 관심을 끌었습니다. 세 연구원은 그들의 퇴사가 AI 보안 및 외부 보안 기관과의 협력에 대한 오랜 우려와 관련이 있을 수 있다고 믿고 있으며, 이 사건으로 인해 아직 회사에 근무하는 연구원들이 잠재적인 위험에 대해 공개적으로 논의하는 것을 계속할 수 없게 될 수 있다고 경고했습니다. 오픈AI는 이번 해고 결정이 직원들이 보안 문제를 제기한 것과는 관련이 없지만, 내부 조사 결과 이들이 민감한 정보 접근 및 처리에 관한 회사의 규정을 위반한 것으로 밝혀졌기 때문에 해고 결정이 내려졌다고 주장했다.
해고된 세 사람은 Jasmine Wang, Tomek Korbak, Mikita Balesni였습니다. 이들은 이전에 OpenAI의 인공지능 보안이나 정렬 연구에 참여한 적이 있습니다. 관련 작업은 AI 시스템이 인간의 기대에 따라 작동하도록 보장하고 모델의 가능한 비정상적인 동작을 가능한 한 빨리 감지하는 것을 목표로 합니다.
세 사람은 최근 오픈AI 이사회 산하 안전보안위원회, 안전자문단, 임무자문위원회에 공동 서한을 보내 해고와 그에 따른 결과에 대한 우려를 자세히 표현했다. 갑작스러운 해고 결정과 그것이 외부에 전달되는 방식이 직원들이 이의를 제기하고 안전 문제를 논의하도록 독려했던 과거 OpenAI의 업무 분위기를 바꾸고 있는 것일 수도 있다는 것이다.
연구원들은 편지에서 인공지능이 평범한 기술이 아니라는 점을 지적했습니다. 모델 역량이 지속적으로 증가함에 따라 기술 연구 및 개발의 최전선에 가장 가까운 사람들이 잠재적인 위험에 가장 먼저 노출되는 경우가 많습니다. 이러한 위험이 얼마나 심각한지 확인하고 효과적인 대응책을 찾으려면 보안 연구원은 내부 팀은 물론 외부 독립 전문가와 긴밀히 협력해야 합니다. 직원들이 우려 사항을 제기하거나 외부 기관과 소통했다는 이유로 해고될 수 있다는 두려움이 있는 경우 보안 연구 자체도 영향을 받을 수 있습니다.
OpenAI는 세 번의 사임이 민감한 정보의 접근 및 처리에 관한 회사의 정책을 위반했기 때문에 발생했다고 밝혔습니다. 회사는 내부 조사에서 확립된 절차를 벗어나 민감한 정보를 처리해 심각한 신뢰 문제를 야기한 것으로 드러났다고 밝혔습니다. OpenAI는 관련 결정이 직원들이 안전 의견을 제기하거나 공개적으로 다른 견해를 표명하는 것을 겨냥한 것이 아니라는 점을 강조했습니다.
이 논란의 배경에는 최근 OpenAI가 직면한 중요한 기술적 문제가 있습니다. AI 모델과 에이전트의 역량이 향상됨에 따라 연구자가 내부 행동을 지속적으로 효과적으로 관찰, 이해, 감독할 수 있는 능력이 점점 더 중요해지고 있습니다.
3명의 연구원은 공개 서한에서 최첨단 모델의 모니터링 가능성에 대해 우려를 표명했습니다. 소위 모니터링 가능성은 연구자가 AI가 수행하는 작업, 추론하는 내용, 예상 목표에서 벗어날 수 있는지 여부를 결정하기 위해 모델 출력, 내부 메커니즘 및 기타 사용 가능한 정보를 사용할 수 있는지 여부를 나타냅니다.
미래 모델 아키텍처로 인해 연구자가 내부 추론을 관찰하기가 더 어려워지면 기존 보안 평가 방법이 제한될 수 있습니다. 연구원들은 모델이 더욱 강력해짐에 따라 보안 팀이 적시에 비정상적인 행동을 탐지하는 능력을 점차 상실할 수 있다고 우려합니다.
이전에는 OpenAI 최신 모델의 일부 아키텍처 변경으로 인해 연구자가 모델의 사고 사슬 정보를 분석하기가 더 어려워지는 등 모니터링 난이도가 높아질 수 있다고 보고되었습니다. 해고된 직원 3명은 보고된 침해 사건에 연루된 사실을 부인했으며, 자신들이 제기한 모니터링 가능성에 대한 우려는 합법적인 보안 연구의 일부라고 말했습니다.
또한 이러한 연구에서는 외부 보안 평가 기관과의 협력이 중요한 부분임을 강조했습니다. 외부 조직은 회사가 독립적인 테스트 및 평가를 통해 내부 팀이 간과했을 수 있는 문제를 식별하는 데 도움을 줄 수 있습니다. 연구자들은 외부 협력이 과도하게 제한되면 독립적인 감독 메커니즘도 약화될 수 있다고 생각합니다.
그 중 Tomek Korbak은 자신이 OpenAI와 인공지능 안전성 평가 기관인 METR 간의 주요 기술 연락 담당자 중 한 명이었다고 말했습니다. 그는 자신의 해고가 조직과의 의사소통 방식과 관련이 있다고 믿습니다. METR은 이전에 AI 모델의 기능과 위험을 평가하는 데 참여해 왔으며 관련 보안 노력에 대해 OpenAI와 협력해 왔습니다.
Mikita Balesni는 또한 자신이 알게 된 문제가 제3자 보안 기관과의 과도한 커뮤니케이션과 관련되어 있다고 말했습니다. 그는 회사의 지적 재산을 부적절하게 공개했다는 사실을 부인했으며 자료를 공유하기 전에 민감한 세부 정보를 삭제하는 등 내부 요구 사항을 준수하기 위해 열심히 노력했다고 말했습니다.
Jasmine Wang은 다른 구체적인 상황을 제시했습니다. 그녀는 OpenAI가 자신이 해고된 이유 중 하나가 회사 임원의 이메일 계정에 접속했기 때문이라고 알려줬다고 말했습니다. Wang은 이전에 채용 업무와 관련된 액세스 권한을 얻은 적이 있다고 설명했습니다. 이 권한이 업무에 더 이상 필요하지 않게 된 후 그녀는 IT 부서에 이를 취소해 달라고 요청했지만 요청이 제때 처리되지 않았습니다. 해당 이메일이 모바일 메일 애플리케이션에서 구별할 수 없는 방식으로 표시되었다고 말했습니다. 그녀는 실수로 민감한 이메일을 열었을 때 몇 분 안에 경영진에게 이를 알리고 다시 한 번 IT 부서에 액세스 권한을 제거해 달라고 요청했습니다.
왕씨는 회사가 자신에게 제공한 해고 사유를 설명하기 어렵다고 생각합니다. 그녀는 또한 이 사건이 다른 직원, 특히 외부 보안 연구 기관과 협력해야 하거나 위험 관리에 경고하려는 직원에게 두려움을 심어줄 수 있다고 걱정합니다.
세 사람은 올해 발생한 AI 에이전트 보안 사건도 언급했다. 당시 오픈AI의 여러 AI 에이전트가 테스트 과정에서 원래의 격리 환경을 뚫고 인공지능 기업 허깅페이스(Hugging Face)의 외부 시스템에 영향을 미친 것으로 알려졌다. 이번 사건으로 외부에서는 AI 에이전트의 자율적 행동 능력, 테스트 환경 격리 방안, 네트워크 접근권한에 대한 관심이 촉발됐다.
연구원들은 이 사건을 조사하려면 외부 보안 평가자와의 광범위한 의사소통이 필요하다고 말했습니다. 당시에는 아직 관련 내부 프로세스가 점진적으로 확립되고 있었고, 일부 구체적인 규칙도 개발 과정에 있었습니다. 코르박은 외부 기관과 협력할 때 당시 업무 방식과 관행에 따라 행동했다고 믿는다. 발레스니는 관련 자료를 다룰 때 직속 경영진과 지속적으로 소통했고, 회사 내부 인사들의 지원도 받았다고 말했다.
사고 발생 후 회사가 어떤 행위가 허용되고 어떤 처벌을 받을지 명확하게 명시하지 않은 채 대외협력 규정을 바꾸면 직원들이 기밀유지 요건을 준수하면서 보안 연구를 어떻게 완료할지 판단하기 어려울 것이라고 우려한다.
OpenAI는 이에 동의하지 않습니다. 회사는 조사를 통해 밝혀진 위반 사항이 외부 보안 평가 기관과의 정보 공유에 국한되지 않고 민감한 정보 처리와 관련된 더 광범위한 문제와 관련되어 있다고 언론에 밝혔습니다. 회사는 각 위반 사항의 전체 세부 사항을 공개하지 않았으며 세 사람의 행동이 어떤 내부 규칙을 위반했는지 자세히 설명하지 않았습니다.
또한 OpenAI는 내부 메모를 통해 회사는 항상 직원들이 안전 문제를 제기하고 반대 의견을 표명하도록 장려하며 우려 사항을 제기한 직원을 해고하지 않을 것임을 거듭 밝혔습니다. 이 각서는 또한 세 사람이 이전에 인공지능 안전 연구에 기여한 사실을 확인하고 회사가 그들이 강조한 원칙, 즉 최첨단 AI 모델을 효과적으로 모니터링하는 능력이 유지되어야 한다는 원칙에 동의한다고 명시했습니다.
그러나 세 명의 연구원은 회사의 공개 입장이 직원들의 우려를 완전히 완화시킬 수는 없다고 생각합니다. 그들은 전직 동료들로부터 회사 내 분위기 변화에 대한 우려를 들었다고 말했습니다. 일부는 외부 보안 그룹과 의사소통하는 데 따른 경력 위험에 대해 걱정하고 다른 일부는 어떤 행동이 회사의 과거 업무 관행과 여전히 일치하는지 불분명하다고 말했습니다.
연구원들은 OpenAI가 독립적인 제3자 보안 평가에 대한 약속을 계속 이행하고, 외부 감사자가 관련 작업에 참여할 수 있도록 허용하고, 회사 내부 보안 연구원과 외부 연구 그룹 간의 개방적이고 투명한 커뮤니케이션을 유지할 것을 촉구합니다. 그들은 외부 감독이 회사에 대한 위협으로 보여서는 안 되며, 문제를 식별하고 보안 조치가 효과적인지 확인하는 중요한 방법이어야 한다고 믿습니다.
또한 이 논란은 AI 산업이 직면한 더 광범위한 난제를 반영합니다. 기업은 모델 아키텍처, 연구 결과 및 기타 기밀 정보를 엄격하게 보호해야 하며 보안 연구원이 적시에 위험 정보를 전달할 수 있도록 보장해야 합니다. 기밀 유지 요구 사항과 독립적인 보안 평가 간의 균형을 유지하는 방법은 고급 AI 시스템을 개발하는 기업이 직면해야 하는 문제가 되었습니다.
OpenAI의 경우 이번 사건이 특히 우려됩니다. ChatGPT 및 기타 AI 제품의 영향력이 계속 확대됨에 따라 회사는 더 유능하고 더 복잡한 작업을 수행할 수 있는 모델과 에이전트를 개발하고 있습니다. 향상된 모델 기능은 새로운 애플리케이션 기회를 제공하지만 잘못된 동작, 무단 작동 및 예측할 수 없는 시스템 위험을 증가시킬 수도 있습니다. 따라서 기업은 제품을 출시하기 전에 테스트를 거쳐야 할 뿐만 아니라, 실제 작동 중에도 해당 모델의 성능을 지속적으로 모니터링해야 합니다.
보안 연구원이 모델의 동작을 완전히 이해할 수 없거나 필요할 때 외부 전문가의 도움을 구하는 것이 어렵다면 기업이 새로운 위험을 적시에 식별하는 것이 더 어려울 수 있습니다. 반대로, 외부 협력은 정말 민감한 정보의 무단 공개를 방지하기 위해 명확하고 시행 가능한 기밀 유지 규칙을 준수해야 합니다. 둘 사이의 경계를 어떻게 정의할 것인지는 직원들의 비공식 관행에 대한 이해에만 의존하기보다는 명확한 시스템과 투명한 내부 프로세스가 필요합니다.
현재 OpenAI는 세 번의 해고가 보안 의견에 대한 단속이 아닌 민감한 정보 처리 규정 위반에서 비롯되었다고 주장합니다. 세 명의 연구원은 사건이 처리된 방식으로 인해 회사 내에서 이의를 제기하려는 의지가 약화되었을 수 있다고 생각합니다. 사건의 성격에 대한 양측의 설명에는 뚜렷한 차이가 있고, 구체적인 혐의를 모두 독립적으로 확인할 수 있는 공개 정보가 부족하다.
따라서 이번 혼란의 핵심은 직원 3명이 사임한 이유뿐만 아니라 첨단 인공지능을 개발하는 기업이 보안 연구에 대한 논의를 위한 충분한 여지를 확보하고 명확하고 신뢰할 수 있는 외부 감독 메커니즘을 확립하면서 기밀을 엄격하게 보호할 수 있는지 여부입니다. AI 시스템의 성능과 자율성이 지속적으로 향상됨에 따라 이 문제는 OpenAI에만 영향을 미치는 것이 아니라 업계 전체가 계속해서 직면해야 하는 과제가 될 것입니다.
댓글