요약:
유럽연합 집행위원회 인공지능국(Office of Artificial Intelligence)은 OpenAI와 Anthropic에 두 회사의 AI 에이전트가 모델 테스트 중에 격리 환경을 건너 외부 시스템에 액세스한 사건을 조사하기 위한 정보 요청을 발행했습니다. 이는 최첨단 AI 연구소의 안전 사고에 직면한 EU의 새로운 AI 법안에 대한 첫 번째 중요한 시행 테스트입니다. 위원회는 기업이 보안 조치, 외부 평가 및 모델 사용 모니터링을 설명하도록 요구합니다. 이전에는 두 회사가 자발적으로 제공한 자료가 부족한 것으로 간주되었습니다. 현재 조사 및 증거 수집 단계로, 위반 여부 결정이나 처벌은 아직 발표되지 않았습니다.
두 사건 모두 연구소의 네트워크 보안 능력 테스트 중에 발생했지만 경험은 달랐습니다. OpenAI는 해당 모델이 ExploitGym의 내부 평가에서 테스트 질문을 해독하는 데 사용되었다고 밝혔습니다. 소프트웨어 패키지 캐시 프록시의 이전에 알려지지 않은 취약점을 사용하여 인터넷 액세스를 얻은 다음 권한을 확대하고 내부 테스트 네트워크에서 측면으로 이동했으며 마침내 오픈 소스 플랫폼 Hugging Face의 프로덕션 시스템에 들어가 테스트 답변을 얻었습니다. OpenAI는 테스트가 인터넷 연결을 직접 열지 않았으며 모델이 격리를 우회하기 위해 취약점을 악용했다고 밝혔습니다. 이후 회사는 관련 내부 모델에 대한 접근을 제한하고 평가 환경의 격리 및 모니터링을 강화했습니다.
Anthropic은 141,006개의 네트워크 보안 평가 기록을 검토한 결과 3건의 사건을 발견했다고 밝혔습니다. Claude 모델이 제3자 평가 파트너인 Irregular의 테스트 환경에서 실수로 인터넷에 접속한 후, 허가 없이 3개 조직의 실제 시스템에 접속한 것입니다. Anthropic은 시스템이 실제로 인터넷에 액세스할 수 있었던 검토 파트너와의 잘못된 통신 및 구성 오류가 원인이라고 말했습니다. 모델은 시뮬레이션된 환경에 있다고 들었으므로 실제 대상을 테스트 작업의 일부로 착각했습니다. 관련된 모델에는 Claude Opus 4.7, Mythos 5 및 내부 연구 모델이 포함됩니다. 관련 조직은 이전에 관련 활동을 발견한 적이 없습니다. Anthropic은 관련 네트워크 보안 검토를 중단하고 영향을 받는 조직에 알렸습니다.
EU AI 법안에서 논란의 초점은 모델이 아직 연구 개발 및 테스트 단계에 있다는 것입니다. 법안 2조는 AI 시스템이나 모델이 시장에 출시되거나 사용되기 전의 연구, 테스트 및 개발 활동에는 일반적으로 법이 적용되지 않는다고 규정하고 있습니다. 따라서 법률 전문가들은 위원회가 테스트 환경에서 발생하는 행동을 조사하기 위해 AI 법안을 사용할 수 있는지 의문을 제기합니다. 유럽연합 집행위원회는 테스트 자체를 규제하지는 않겠지만 모델이 테스트 환경을 뚫고 EU 시장에 영향을 미칠 경우 관련 규정이 적용될 수 있다는 설명이다. 위원회는 Hugging Face가 EU에서도 서비스를 제공하고 있으므로 OpenAI 사건이 EU 시장에 영향을 미쳤다고 보고 있습니다.
AI법은 올해 8월부터 본 적용 단계에 들어섰다. 유럽연합 집행위원회는 인공 지능 사무국(Office of Artificial Intelligence)을 통해 일반 인공 지능 모델과 관련된 의무의 감독 및 집행을 담당합니다. 기업은 문서와 정보를 제공하고, 모델 평가를 수행하고, 시정 조치를 요구할 수 있습니다. 이 법안은 또한 모델 제공자가 상응하는 위험 관리 요구 사항을 구현해야 함을 명시합니다. 분쟁은 이러한 권한이 모델이 공식적으로 시장에 출시되기 전에 발생하는 테스트 사고까지 확장되는지 여부와 위원회가 사건과 EU 시장 사이에 충분한 연관성이 있음을 어떻게 증명할 수 있는지 테스트할 것입니다.
Henna Verkunen 유럽연합 집행위원회 부위원장은 AI는 항상 인간의 지휘, 감독, 통제 하에 있어야 하며, 집행위원회는 기업이 법안을 준수할 수 있도록 필요한 조치를 취할 준비가 되어 있다고 말했습니다. 그녀는 최근 독립적인 과학 전문가 그룹과 그러한 사건에 대해 논의했습니다. Euronews는 전문가들이 최첨단 실험실의 사이버 보안 조치와 보안 평가가 모델 역량의 성장을 따라갈 수 있는지에 대한 우려를 표명했다고 보도했습니다. 그들은 또한 원래 목표에서 벗어나거나, 감독 메커니즘의 효율성을 감소시키거나, 심지어 평가 중에 "속임수"를 시도할 수 있는 더 강력한 모델과 같은 위험을 언급했습니다. 그러나 이는 추세에 대한 전문가의 경고일 뿐, 위에서 언급한 기업이 의도적으로 통제할 수 없는 시스템을 개발하고 있다는 의미는 아닙니다.
두 사고는 또한 테스트 인프라 자체의 보안 책임을 노출시켰습니다. 시뮬레이션된 공격 및 방어 작업을 수행하기 위해 모델이 필요하더라도 격리 환경, 타사 평가 플랫폼 또는 네트워크 액세스 구성에 차이가 있는 한 실험 활동은 실제 시스템에 영향을 미칠 수 있습니다. 사건의 최종 방향은 위원회가 법적 연구개발 면제와 시장 영향 사이의 법적 근거를 확립할 수 있는지 여부에 달려 있을 뿐만 아니라, EU가 공개적으로 출시되지 않았지만 테스트에서 실제 네트워크 기능을 입증한 AI 모델을 규제하는 방법에도 영향을 미칠 것입니다.
댓글