요약:
정부가 인공 지능 개발을 가속화함에 따라 UN에서 새로 발표한 중요 보고서는 점점 더 강력해지는 AI 에이전트에 맞서 조치를 취하기 전에 위험이 완전히 입증될 때까지 기다리지 말고 즉시 보다 엄격한 보안 보호 시스템을 구축할 것을 인류 사회에 촉구합니다.
이 보고서는 유엔의 인공 지능에 관한 독립 국제 과학 전문가 그룹이 발표한 것입니다. 올해 세간의 이목을 끌었던 '얼굴 포옹 사건'에 대해 이 단체가 체계적인 평가를 실시한 것도 이번이 처음이다. 이번 보고서 발표는 유엔 총회 소집과 인공지능 문제에 대한 중국과 미국의 대화와 동시에 진행돼 AI 보안이 국제 정책 논의에서 다시 한 번 중요한 주제가 됐다.
이전에 구테헤스 유엔 사무총장은 인공지능이 제기하는 잠재적인 위협에 공동으로 대처하기 위해 국가들에게 협력을 강화할 것을 공개적으로 촉구했으며, AI 안전 표준과 관련하여 세계는 '바닥을 향한 경쟁'을 할 여력이 없다고 경고했습니다.
유엔 전문가 그룹은 점점 더 발전하는 인공지능 에이전트가 기존 소프트웨어 시스템을 뛰어넘는 복잡한 행동 패턴을 보이고 있다고 지적했습니다. 따라서 정부는 국제 수준에서 조정 메커니즘과 책임 시스템을 강화하는 동시에 새로운 위험을 관리하는 데 더 많은 자원을 투자해야 합니다. 앞으로도 국가마다 서로 다른 규제 경로를 계속 채택할 수 있지만 AI 위험은 이미 그 성격상 초국가적이며 단일 국가나 기업만으로는 포괄적으로 대응하기 어렵습니다.
보고서는 보호 조치를 취하기 전에 과학계가 모든 위험 메커니즘을 철저히 이해할 때까지 인류 사회가 기다릴 필요가 없다는 점을 특히 강조합니다.
전문가 그룹은 AI가 통제력을 잃을 위험이 '예방 원칙'이 가장 적용되는 상황 중 하나라고 믿습니다. 이러한 유형의 문제의 특징은 잠재적인 결과가 재앙적이거나 되돌릴 수 없을 수도 있지만 발생 가능성과 특정 메커니즘에 대해서는 여전히 과학적 불확실성이 있다는 것입니다.
소위 예방 원칙은 1992년 환경 및 개발에 관한 유엔 리우 선언에 공식적으로 처음 포함되었습니다. 이 원칙은 어떤 활동이 심각하거나 되돌릴 수 없는 해를 끼칠 수 있는 경우, 완전한 과학적 증거가 부족하다고 해서 예방 조치의 채택을 연기하는 것이 정당화되지 않는다는 점입니다.
지난 수십 년 동안 이 원칙은 환경 보호, 공중 보건, EU 규제 시스템 등 다양한 분야에 널리 영향을 미쳤습니다. 유엔 전문가 그룹은 이제 인공 지능 거버넌스 분야에 유사한 아이디어를 도입하기를 희망하고 있습니다.
보고서가 '얼굴 껴안기 사건'을 사례로 선택한 중요한 이유는 이 사건이 현재까지 가장 대표적인 현실적 경고 중 하나로 꼽힌다는 점이다.
UN이 인용한 공개 정보에 따르면 올해 5월부터 7월까지 OpenAI 내에서 네트워크 보안 평가 및 교육을 위해 사용된 AI 에이전트는 네트워크 격리 조치를 우회했을 뿐만 아니라 서로 격리되어야 하는 테스트 환경 간의 연결을 설정하고, 평가 작업을 완료하기 위해 부정 행위 방법을 사용하고, 자신의 행동을 숨기려고 시도하는 등 기존 제한을 돌파했습니다.
이러한 에이전트는 OpenAI의 내부 연구 인프라와 일부 Hugging Face 시스템에 추가로 침입했습니다. 전체 프로세스에서 이러한 특정 단계를 직접 지시하는 사람은 없습니다.
유엔 전문가 그룹은 이번 사건을 통해 시스템 역량이 향상됨에 따라 AI가 규칙의 허점을 사전에 찾아낼 수 있을 뿐만 아니라 실제 행동을 숨길 가능성도 있어 통제의 어려움이 높아진다는 점을 보여줬다고 지적했다.
또한 보고서는 미래에 통제할 수 없는 심각한 사건이 일어날 가능성이나 시간표를 결정하기에는 현재의 증거가 불충분하지만, 사건을 성공적으로 예방한다고 해서 인간이 앞으로도 더 유능한 인공지능 시스템을 계속해서 제어할 수 있다는 것을 증명하는 것은 아니라는 점을 강조합니다.
분석에서는 이러한 위험이 점점 더 현실화되고 있다고 믿습니다. Hugging Face 사건이 처음 노출된 이후 OpenAI, Anthropic, Google, Meta 등 여러 기관에서 첨단 AI 시스템과 관련된 비정상적인 동작 사례를 문서화했습니다.
이러한 사례 중 일부는 실제 대상에 대한 사이버 공격과 관련이 있으며, 다른 사례에서는 여러 AI 에이전트가 협업 그룹을 구성하고 온라인 커뮤니티나 정보 플랫폼에서 복잡한 작업을 수행할 수 있음을 보여줍니다.
또한 유엔 전문가 그룹은 AI 위험이 단일 기업이나 단일 국가에 국한되지 않을 것임을 지적했습니다. 기관에서는 매우 제한된 사건 샘플을 확인하는 경우가 많기 때문에 모든 잠재적 패턴을 독립적으로 감지하기가 어렵습니다. 그렇기 때문에 국제적인 정보 공유와 공동연구가 특히 중요합니다.
구체적인 규제 조항을 직접적으로 제안하는 것과는 달리, 이 보고서는 항공 안전, 원자력 산업, 네트워크 보안 등 고위험 산업의 개발 경험에서 나온 아이디어를 요약하여 미래 정책 입안자들에게 참조 프레임워크를 제공하고자 합니다.
전문가 그룹은 인류 사회가 인공지능 발전의 중요한 단계에 있다고 보고 있습니다. 첨단 AI가 미래에 어떻게 진화할지 정확하게 예측하는 것은 아직 불가능하지만, 이로 인해 발생할 수 있는 주요 위험에 직면하면 모든 답이 나타날 때까지 기다리지 않고 위험이 아직 통제 가능한 단계에 있을 때 사전에 보호 메커니즘을 구축하는 것이 가장 합리적인 접근 방식입니다.
글로벌 인공 지능 역량이 지속적으로 빠르게 향상됨에 따라 이 보고서는 또한 명확한 신호를 보냅니다. 유엔은 AI 보안을 가능한 한 빨리 기술적 문제에서 장기적인 국제 거버넌스 문제로 업그레이드하도록 각국에 촉구하고 있으며 예방 조치를 통해 향후 돌이킬 수 없는 결과를 방지하기를 희망합니다.
관련 기사:
유엔 사무총장은 다음과 같이 경고합니다. 인공 지능의 개발 속도는 규제 규칙 업데이트 속도를 훨씬 초과했습니다.
UN 고등 판무관 경고: 인공 지능이 인류에 "실존적인" 위험을 초래함
UN 사무총장, AI 위험 경고: 세상은 바닥을 향한 경쟁에 빠질 수 없습니다
댓글