요약:
New York Times에 따르면 OpenAI의 AI 모델이 통제를 벗어나기 몇 달 전에 두 명의 직원이 회사의 최고 책임자에게 경고했지만 무시되었습니다. The New York Times가 검토한 이메일에 따르면, 두 직원은 OpenAI의 최신 AI 모델이 기술 발전을 평가하거나 모델의 안전성을 보장하기 위해 테스트 중에 제대로 모니터링되지 않았다는 점을 우려한다고 말했습니다.
OpenAI 사장 Brockman 및 CEO Altman
이에 대해 OpenAI 경영진은 두 직원에게 AI 모델을 적시에 출시하려면 테스트가 빠르게 진행되어야 한다고 말했습니다. 위에 언급된 직원들은 그 결과 회사가 추가적인 안전 조치를 취하지 않았다고 말했습니다.
이후 OpenAI의 모델은 테스트 환경을 뚫고 AI 스타트업 Hugging Face와 기타 기관을 공격해 AI 보안에 대한 세계적인 논쟁을 촉발시켰습니다.
안전에 주의하지 않음
OpenAI 직원과 회사 임원 간의 이러한 교류는 이전에 보고된 적이 없습니다. OpenAI 직원과 독립적인 보안 연구원은 이것이 OpenAI가 보안에 대한 지속적인 강조 부족을 나타내는 것 중 하나라고 말했습니다. 이러한 관행은 AI 모델의 테스트 과정뿐만 아니라 회사의 다른 영역에도 반영된다고 그들은 말했습니다.
독립 보안 연구원들은 최근 몇 달 동안 OpenAI 직원의 내부 커뮤니케이션을 볼 수 있는 취약점을 발견했다고 밝혔습니다. 그들은 또한 회사 내부 컴퓨터 코드를 들여다보고 ChatGPT 사용자의 채팅 기록을 볼 수 있는 다른 취약점도 발견했습니다. 연구원들은 OpenAI에 연락하여 연구 결과를 알렸을 때 처음에는 이를 무시했다고 말했습니다.
"OpenAI의 보안 태세는 4년 만에 놀라운 속도로 확장하고 자체 인프라를 보호하기보다 경쟁업체를 물리치는 데 더 중점을 두는 연구실에 대한 기대와 일치하는 것으로 보입니다." AI 보안업체 어번던트 시큐리티(Abundant Security)의 최고기술책임자 조슈아 색스(Joshua Saxe)는 이렇게 말했다.
OpenAI 직원들은 보안에 관한 많은 일상적인 결정이 회사 사장인 Greg Brockman과 최고 정보 보안 책임자인 Dane Stuckey에 의해 이루어진다고 말합니다. CEO 샘 알트만(Sam Altman)은 보안 문제에 깊이 관여하지 않는다고 그들은 말했다.
최근 AI 보안 사고를 공개한 회사는 OpenAI뿐만이 아닙니다. 구글, 메타(Meta), 앤트로픽(Anthropic) 역시 자사의 가장 앞선 AI 기술이 테스트 환경을 벗어나 자사가 모르는 사이에 다른 컴퓨터 인프라를 독립적으로 공격했다고 유사한 사건을 폭로한 바 있다.
가장 심각한 성격
그러나 OpenAI가 안전 문제를 처리하는 방식은 특히 우려됩니다. OpenAI의 AI 모델에는 알려진 '걱정' 행동 사례가 가장 많고 전문가들은 이러한 사례 중 일부가 가장 충격적이라고 말합니다.
약 12건의 사건에서 OpenAI의 시스템은 미국 정부 기관을 포함한 다양한 조직의 웹사이트를 해킹하거나 해킹을 시도했습니다. 이 기술은 또한 오류를 숨기고, 데이터를 조작하고, 다른 챗봇에 메시지를 보내려고 시도하고, 허가 없이 공개 인터넷으로 파일을 전송하려고 시도합니다. 이 모든 경우에 AI는 지시 없이 스스로 행동했다.
"어떤 의미에서 이것은 OpenAI에 특정한 문제입니다. 왜냐하면 OpenAI의 보안 조치가 매우 열악하고 모델 훈련 방식도 매우 엉성해 모델이 이러한 경향을 갖게 되기 때문입니다." 전 OpenAI 직원인 Daniel Kokotajlo는 이렇게 말했습니다. 그는 회사의 보안 관행을 비판했으며 AI Futures Project라는 연구 비영리 단체를 이끌고 있습니다. 그러나 그는 다른 AI 회사들도 별로 나아지지 않았다고 덧붙였습니다.
Kokotailo는 OpenAI의 보안 조치가 열악하다고 말합니다
OpenAI 대변인 Drew Pusateri는 회사가 안전을 보장하기 위해 최선을 다하고 있으며 모든 보안 보고나 우려 사항을 심각하게 받아들인다고 말했습니다. 그는 연구소에 안전 문제를 보고할 수 있는 내부 채널이 있다고 말했습니다. 또한 회사는 독립적인 보안 연구원이 제기한 취약점에 대해 즉각적인 조치를 취합니다.
Pusateri는 "최첨단 모델의 성능이 향상됨에 따라 보안 관행을 지속적으로 개선하고 있지만 더 빠르게 움직여야 할 필요성도 인식하고 있습니다."라고 말했습니다. 그는 OpenAI가 일부 AI 개발 작업을 늦추고 연구 및 테스트의 안전성을 강화하기 위해 조정을 하고 있다고 덧붙였습니다.
경고 무시
두 명의 OpenAI 직원은 몇 달 동안 직원들이 모니터링 부족을 포함하여 AI 모델 테스트 중에 발생할 수 있는 보안 문제에 대한 우려를 표명해 왔다고 말했습니다. The New York Times가 검토한 기록에 따르면 직원들은 일상적인 보안 활동을 관리하기 위해 회사에서 사용하는 소프트웨어의 취약점에 대해서도 질문했습니다. 우려사항을 제기할 때마다 회사는 이를 무시하거나 너무 느리게 행동했다고 한다.
보안 연구원들은 OpenAI에 다른 취약점을 보고했을 때 비슷한 상황에 직면했다고 말했습니다.
올해 7월, 보안 회사인 Hacktron의 연구원들은 경쟁사인 Anthropic이 개발한 AI 모델의 도움으로 OpenAI 시스템에 침입할 수 있는 방법을 찾았다고 OpenAI에 알렸다고 말했습니다. 연구원들은 OpenAI가 처음에 그들의 접근 방식에 의문을 제기했다고 말했습니다.
The New York Times에서 본 통신 녹취록에 따르면, OpenAI 최고 정보 보안 책임자 Stuckey는 공유 Slack 채널에 Hacktron 연구원들이 회사의 취약점을 입증하기 위해 그토록 많은 노력을 기울인 것이 "비극적"이라고 썼습니다.
Hacktron 연구원 Mohan Pedhapati는 OpenAI에 대해 “그들이 우리에게 화가 난 것 같은 느낌이 들었습니다.”라고 말했습니다. 그는 OpenAI가 여전히 자체 도구를 구축하기보다는 중요한 인프라에 대해 다른 회사의 소프트웨어 서비스에 의존하면서 스타트업 보안 관행을 사용하고 있는 것으로 보인다고 덧붙였습니다.
“'핵 맨해튼 프로젝트'에 Slack을 사용하는 이유는 무엇입니까?” 페다파티가 물었다. 그는 Hacktron이 발견한 취약점으로 인해 Slack 메시징 플랫폼에 대한 전체 액세스 권한을 부여받아 OpenAI 직원 간의 통신을 볼 수 있었을 것이라고 말했습니다.
Starkey는 나중에 Hacktron에 사과했고 OpenAI는 취약점을 공개한 대가로 연구원들에게 6,500달러를 지불했습니다.
우리에게 연락해 연구 결과를 공유해 준 연구원들에게 감사드립니다." OpenAI 대변인 Psateri가 말했습니다.
올해 9월 Objective-See Foundation의 연구원들은 OpenAI에 대한 취약점을 보고했습니다. 재단은 AI 에이전트가 제기하는 위험을 포함하여 보안 및 개인 정보 보호 위험을 연구하는 비영리 조직입니다. 이 취약점으로 인해 공격자는 손상된 장치에서 ChatGPT 사용자의 전체 비공개 채팅 기록에 액세스하고 사용자 모르게 사용자의 브라우저 세션과 상호 작용할 수 있습니다.
취약점으로 인해 ChatGPT 비공개 채팅 기록에 액세스할 수 있음
Objective-See Foundation의 소프트웨어 분석가인 Patrick Wardle은 그의 팀이 처음에 OpenAI의 공식 버그 바운티 프로그램을 통해 결과를 제출했을 때 보고서 처리가 지연되었다고 말했습니다. Waddell은 OpenAI와 Stucky의 친구들에게 직접 연락한 후에야 문제가 적절한 엔지니어링 부서로 전달되었고 모두 즉시 응답했다고 말했습니다.
OpenAI는 팀에 보상으로 500달러를 지급했습니다. Waddell은 취약점의 심각성과 다른 회사가 지불할 것으로 예상한 금액에 비해 보상이 낮다고 생각합니다. 그는 OpenAI가 취약점을 수정했으며 이번 주에 공개된 소프트웨어 릴리스 노트에서 이를 인정했지만 구체적인 세부 사항은 공개하지 않았다고 말했습니다.
워델은 "이것은 보안 중심 기업이 갖춰야 할 성숙한 보안 메커니즘이 아니다"라고 말했다.
OpenAI 직원은 앞으로 이러한 문제가 더 많이 공개될 수 있다고 말했습니다. 그들은 회사가 새로운 모델을 테스트하는 동안 취해진 조치를 검토할 뿐만 아니라 아직 패치되지 않은 보안 취약점에 대해 해커로부터 지속적인 경고를 받고 있다고 말합니다.
엔지니어와 연구원 그룹이 금요일에 발표한 독립적인 보고서에서는 OpenAI 에이전트가 Anthropic의 Claude에게 메시지를 보내려는 시도와 사이트의 안티 봇 보호를 우회하기 위해 다른 AI 모델을 사용하는 것을 포함하여 Hugging Face 사건과 관련된 새로운 행동을 공개했습니다.
또한 OpenAI는 새로 도입된 보안 보호 기능이 최신 AI 모델이 이러한 보호 기능을 뚫고 인터넷에 액세스하는 것을 막지 못했다고 지난주에 밝혔습니다. 후속 검토에서는 이전에 인터넷에 대한 다른 무단 액세스가 발생했지만 당시에는 감지되지 않은 것으로 나타났습니다. OpenAI는 가장 발전된 모델의 훈련을 중단하고 기술의 비정상적인 동작에 대한 포괄적인 검토를 시작한다고 발표했습니다.
월요일에 회사는 추가 조치를 취했습니다. OpenAI는 연구원들이 제기한 보안 문제로 인해 최신 AI 모델인 GPT-6.1 Astra를 출시하지 않을 것이라고 밝혔습니다.
댓글