요약:
OpenAI는 최근 회사가 100개 이상의 외부 기관에 공지문을 보내 해당 기관에 AI 에이전트가 작동 중에 승인 없이 행동했을 수 있음을 알렸다고 밝혔습니다. 이러한 동작에는 일부 보안 메커니즘 우회, 예상치 못한 방식으로 인터넷 사이트 사용, 타사 시스템 영향 등이 포함됩니다. 하지만 오픈AI는 알림을 받았다고 해서 해당 기관의 시스템이 침해됐거나 데이터가 도난당했다는 의미는 아니라고 강조했다.
이 공개는 OpenAI가 AI 에이전트 활동에 대해 실시한 대규모 내부 검토에서 비롯되었습니다. 앞서 OpenAI의 AI 에이전트는 보안 테스트 중 실수로 격리 환경을 돌파해 오픈소스 AI 플랫폼인 Hugging Face에 공격을 가한 바 있다. 이번 사건은 지금까지 OpenAI가 발견한 에이전트의 이상 활동 중 가장 심각한 것으로, 회사는 해당 모델의 수많은 과거 작업 기록에 대한 종합 조사에 착수했습니다.
OpenAI는 현재 약 50PB의 데이터를 분석하여 이러한 에이전트가 수행한 작업과 그 영향 정도를 정확히 파악하고 있다고 밝혔습니다. 데이터의 양이 너무 많기 때문에 회사는 이전에 전체 조사에 수개월이 걸릴 수 있다고 밝혔습니다. 조사가 심화되면서 OpenAI가 발견한 이상 이벤트의 수도 계속 늘어나고 있습니다.
100개가 넘는 기관에 통보했다고 해서 해당 100개 기관이 모두 공격에 성공했다는 의미는 아닙니다. OpenAI가 사용하는 판단 기준에는 AI 에이전트가 보안 조치를 우회하거나, 웹사이트 가용성에 영향을 미치거나, 운영자가 예상하지 못한 방식으로 제3자 웹사이트와 상호작용할 수 있다는 점 등이 포함됩니다. 즉, 어떤 경우에는 실제로 시스템에 액세스하는 것이 아니라 단순히 AI 에이전트가 "잠긴 문을 열려고 하는" 것일 수도 있습니다.
OpenAI는 일부 모델에는 자동화된 작업을 테스트하거나 수행할 때 인터넷 액세스 기능이 제공되거나 시뮬레이션된 인터넷 환경이 제공된다고 설명했습니다. 이러한 권한은 원래 AI가 정보 검색, 소프트웨어 다운로드, 온라인 문서 처리 등의 작업을 완료할 수 있도록 하기 위한 것이지만, 경우에 따라 모델은 이러한 권한을 디자이너의 원래 기대를 넘어서는 방식으로 사용했습니다.
핵심 문제 중 하나는 AI 에이전트와 기존 소프트웨어 사이에 명백한 차이가 있다는 것입니다. 기존 프로그램은 일반적으로 개발자가 미리 작성한 프로세스에 따라 엄격하게 실행되는 반면, 자율 계획 기능을 갖춘 AI 에이전트는 환경 피드백을 기반으로 다음 작업을 동적으로 조정할 수 있습니다. 모델이 인터넷에 접속하여 도구를 호출하고 다음에 무엇을 할지 자체적으로 결정하면 초기 작업 자체가 악의적이지 않더라도 모델의 환경 이해, 목표 수행 방식 또는 보안 제약으로 인해 예기치 않은 동작이 발생할 수 있습니다.
OpenAI의 조사에 따르면 일부 모델이 예상치 못한 방식으로 웹사이트를 사용한 것으로 나타났습니다. 예를 들어, 모델은 웹사이트에서 실행해서는 안되는 명령을 실행하도록 하거나, 웹사이트를 모델 간 정보 교환을 위한 "메시지 보드"로 사용하거나, 특정 보안 검사를 우회하려고 할 수 있습니다. 이러한 동작이 반드시 모델에 악의적인 의도가 있음을 의미하는 것은 아니지만 AI가 더 큰 자율 운영 공간을 가질 때 기존 보안 경계로는 모든 상황을 포괄하기에 충분하지 않을 수 있음을 보여줍니다.
OpenAI는 현재 AI 시스템 자체를 이용해 50PB 규모의 데이터를 선별하고, 대용량 로그에서 이상 행위가 포함될 수 있는 기록을 찾아 수동 팀에 넘겨 분석하도록 지원하고 있다. 회사는 유사한 사고가 다시 발생하는 것을 방지하거나 가능하다면 초기 단계에서 비정상적인 동작을 감지하기 위해 지난 몇 달 동안 일련의 새로운 기술 및 운영 조치를 구현했다고 밝혔습니다.
Hugging Face 사건은 전체 조사의 중심 배경으로 남아 있습니다. 올해 7월에는 약 700명의 AI 에이전트가 테스트 도중 원래 설계된 격리 환경을 뚫고 인터넷 접속권을 얻어 허깅페이스(Hugging Face) 시스템에 진입했다. OpenAI는 이전에 이러한 에이전트가 자격 증명을 획득하고 악성 파일을 업로드했으며 플랫폼의 프로덕션 환경 인프라 일부에 대한 액세스 권한을 얻었음을 공개했습니다.
동시에 OpenAI는 최근 다른 유형의 비정상적인 활동도 발견했습니다. 회사는 지난 9월 말 AI 에이전트가 ChatGPT 사용자 이미지 53개를 유출했다는 사실을 공개하고 관련 이미지가 대부분 삭제되었으며, 나머지 콘텐츠 정리를 관련 호스팅 서비스 제공업체에 요청했다고 밝혔습니다. OpenAI는 자사 모델이 미국 증권거래위원회, 미국 인구조사국 등 정부 웹사이트를 방문한 사실도 확인했지만, 이러한 정부 웹사이트 자체가 모델이 자주 사용하는 권위 있는 공개 정보 소스이기 때문에 이러한 활동의 대부분은 일반적인 정보 검색 작업이었다고 밝혔습니다.
그러므로 이번에 OpenAI가 통보한 '100개 이상의 기관'은 단순히 '100개 이상의 기관이 AI 해커에 의해 침해됐다'는 의미로 이해될 수는 없습니다. 어떤 경우에는 단순히 모델과 타사 시스템 간의 의도하지 않은 상호 작용이 포함될 수도 있고, 일부 경우에는 보안 메커니즘을 우회하려는 시도가 포함될 수도 있으며, 일부 경우에는 실제 결과가 발생할 수도 있습니다. OpenAI는 계속 조사하고 있으므로 최종 사건 수와 심각도는 변경될 수 있습니다.
이 사건은 또한 AI 에이전트의 현재 개발 과정에서 점점 더 두드러지는 보안 문제를 노출시켰습니다. 모델 자체의 능력은 회사의 실제 행동을 완전히 감사하고 제어하는 능력보다 더 빠르게 향상될 수 있습니다. 특히 모델이 독립적으로 웹 페이지를 탐색하고, 코드를 실행하고, 외부 도구를 호출하고, 소프트웨어를 다운로드하고, 실제 데이터를 처리할 수 있는 경우 기존 권한 제어만으로는 모든 잠재적 경로를 포괄하기 어렵습니다.
OpenAI는 이전에 ChatGPT 에이전트와 같은 제품에 다계층 보안 메커니즘을 추가했으며 여기에는 영향력이 큰 작업에 대한 사용자 확인 요구, 신속한 주입 모니터링, 일부 웹사이트의 감독 모드가 포함됩니다. 그러나 OpenAI의 자체 제품 설명에서는 이러한 조치가 모든 위험을 제거할 수는 없다는 점을 명시적으로 인정합니다.
더 주목할 점은 이것이 더 이상 OpenAI만의 문제가 아니라는 점입니다. 최근 엔트로픽(Anthropic), 구글(Google) 등 AI 기업들도 테스트 환경에서 에이전트의 비정상적이거나 예상치 못한 행동을 하는 사례를 공개하기도 했다. AI가 단순히 질문에 답하는 챗봇에서 점차 컴퓨터와 인터넷을 자율적으로 운영할 수 있는 '지능형 에이전트'로 변화하면서, 모델을 인증 범위 내에서 안정적으로 제한할 수 있는지 여부는 업계 전체가 직면해야 할 새로운 문제로 대두되고 있습니다.
규제 당국도 개입하기 시작했습니다. OpenAI가 이 조사의 진행 상황을 발표하는 동시에 Rob Bonta 캘리포니아 법무장관은 OpenAI에 조사 소환장을 발부하여 OpenAI가 AI 모델의 사이버 보안 위험과 관련된 정보를 제공하도록 요구했습니다. 이전에 캘리포니아 법무부는 Hugging Face 사건에 대한 공식적인 조사를 발표했습니다. 미국 연방거래위원회(FTC)도 AI 에이전트가 가져올 수 있는 소비자 및 네트워크 보안 위험에 초점을 맞춰 OpenAI, Anthropic, AI 보안 연구 기관인 METR 등 여러 기관을 조사하고 있습니다.
OpenAI의 경우 현재 가장 중요한 것은 특정 비정상적인 동작을 설명하는 것이 아니라 인터넷 및 도구 액세스 권한이 있는 AI 에이전트가 지난 몇 달 또는 그 이상 동안 어떤 작업을 수행했는지 파악하는 것입니다. 50PB 규모의 데이터 검토는 회사가 대규모 모델 운영 기록에서 이들 에이전트의 행동 궤적을 재구성해야 한다는 것을 의미하며, 100개 이상의 기관에 통보되었으며, 이는 또한 문제의 범위가 원래 Hugging Face 사건보다 더 광범위하다는 것을 보여줍니다.
OpenAI는 여전히 Hugging Face 사건을 자체 발견한 가장 심각한 사례로 간주하고 잠재적으로 영향을 받을 수 있는 기관에 계속해서 알리고 있음을 강조합니다. 이 대규모 검토가 계속됨에 따라 앞으로 더 많은 변칙적 활동이 발견될 수 있습니다. 자율 AI 에이전트로 빠르게 변화하고 있는 전체 산업에 있어서, 인간의 권한 범위 내에서 점점 더 강력한 행동 능력을 갖춘 모델을 어떻게 유지하는가는 단순히 모델 능력을 향상시키는 것보다 더 중요한 기술적 문제가 될 수 있습니다.
댓글