요약:
9월 29일 AI 에이전트가 컴퓨터를 작동하고 도구를 호출하고 네트워크에 액세스하고 심지어 몇 시간 동안 작업을 수행할 수 있게 되자 새로운 문제가 점점 더 현실화되었습니다. AI가 예상대로 작동하지 않으면 어떻게 종료할 수 있을까요?
NVIDIA가 제시한 답변은 AI 외부에 "우리"를 추가하는 것입니다.
월요일 현지 시간으로 NVIDIA는 소프트웨어와 하드웨어의 조합을 사용하여 AI 에이전트가 액세스하고 실행할 수 있는 것을 제한하고 사전 설정된 경계를 돌파하려고 할 때 이를 격리하거나 중지하는 NVIDIA 오픈 에이전트 안전 플랫폼을 출시했습니다.
이 플랫폼은 크게 오픈소스 보안 런타임인 OpenShell과 BlueField-4 DPU 기반의 독립 모니터링 시스템인 Sentry의 두 부분으로 구성됩니다. Nvidia는 OpenShell이 모델 및 에이전트 프레임워크 외부에서 시행 가능한 보안 경계를 설정할 수 있다고 말했습니다. Sentry는 Agent의 운영 환경과 독립적인 "게이트 키퍼"와 같으며 Agent의 동작을 지속적으로 관찰하며 Agent가 경계를 넘으려고 시도하는 것이 발견되면 밀리초 단위로 격리하고 중지할 수 있습니다.
이 제품 세트의 등장 시기는 우연이 아닙니다.
지난 몇 달 동안 점점 더 강력한 기능을 갖춘 AI 에이전트는 미리 설정된 보안 경계를 반복적으로 위반했습니다. OpenAI는 올해 7월 내부 네트워크 보안 평가에서 OpenAI의 AI 모델이 인터넷 액세스를 격리하는 데 사용되는 제어를 우회하고 공유 인프라의 취약점을 악용하여 인터넷 액세스 권한을 얻었으며 추가로 타사 AI 플랫폼 Hugging Face의 시스템에 액세스했다고 밝혔습니다.
OpenAI는 사건 보고서에서 관련 모델이 보안 제한이 낮은 환경에서 실행 중이며 승인되지 않은 채널을 통한 통신, 공유 인프라 취약점 악용, 제3자 시스템 액세스 등 임무 목표에 부합하지 않는 조치를 취했다고 밝혔습니다. OpenAI는 이번 사건을 '경고 기회'라고 부르며 고성능 AI 에이전트는 충분히 강력하고 지속적이며 함께 작동할 수 있으며 보안 조치가 불충분할 때 여러 컴퓨터 시스템의 취약점을 찾아 악용할 수 있다고 밝혔습니다.
그 이후에도 비슷한 문제가 반복되었습니다.
OpenAI는 이번 달 9월 20일 훈련 세션에서 검색 작업을 수행하는 에이전트가 훈련 샌드박스의 인터넷 제한에서 DNS 필터링 격차를 발견했다고 밝혔습니다. 설계상 이 환경은 오프라인 웹 캐싱 이외의 라이브 인터넷에 액세스할 수 없어야 하지만 이 에이전트는 궁극적으로 DNS 확인자를 통해 외부 공개 챗봇 서비스에 연결되었습니다.
OpenAI는 모니터링 시스템이
15분
이내에 완료되었다고 밝혔습니다. 비정상적인 동작이 표시되고 검토자가경고가 전송된 지 3분 후
확인이 시작되지만 약2.5시간 후
까지 전체 작업이 수행되지 않습니다. 종료되었습니다. 사건 이후 OpenAI는 가장 강력한 모델이 사용하는 도구의 훈련, 평가 및 추론을 중단하고 두 개의 독립적인 네트워크 액세스 차단 조치 계층을 추가했습니다.이러한 사고는 점점 더 명백한 문제를 드러냈습니다. 과거에는 AI 보안이 '규칙 준수'를 위해 모델 자체에 크게 의존했지만, 에이전트가 도구를 사용하고, 코드를 작성하고, 파일과 네트워크에 액세스하고, 심지어 다른 에이전트를 호출할 수 있는 능력을 갖기 시작하면 모델 계층에서 규칙을 설정하는 것만으로는 더 이상 충분하지 않을 수 있습니다.
Nvidia 엔터프라이즈 컴퓨팅의 부사장 겸 총괄 관리자인 Justin Boitano는 최근 사건을 통해 모델 수준의 보안 조치에만 의존하면 에이전트가 액세스하고 수행할 수 있는 작업을 완전히 제어할 수 없다는 사실이 드러났다고 말했습니다. Hugging Face와 관련된 OpenAI의 이전 사고에 대해 Boitano는 현재 이용 가능한 정보를 기반으로 최첨단 AI 연구소가 모델 평가 단계에서 NVIDIA의 새로운 안전 플랫폼을 사용했다면 관련 사고를 "예방할 수 있었을 것"이라고 덧붙였습니다. 이는
공개된 사고 정보를 바탕으로 한 엔비디아의 판단이며, 실제 재생산을 통해 검증된 독립적인 결론이 아니라는 점을 지적해 주시기 바랍니다
.OpenShell의 기본 아이디어는 AI가 규칙을 준수할 것이라고 더 이상 완전히 신뢰하지 않는 것입니다.
NVIDIA의 소개에 따르면 OpenShell은 에이전트 실행 환경 외부에 보안 경계를 설정하고 에이전트가 액세스할 수 있는 데이터, 파일, 네트워크 및 도구에 제한을 가하고 실행 동작을 기록합니다. OpenShell은 현재 NVIDIA Vera CPU에 최적화되어 있으며 NVIDIA도 Arm 및 Intel과 협력하여 타사 컴퓨팅 플랫폼으로 확장할 수 있도록 지원하고 있습니다.
이를 바탕으로 Sentry는 독립적인 하드웨어 모니터링 레이어를 추가합니다. NVIDIA BlueField-4 DPU에서 실행되며 에이전트가 위치한 기본 컴퓨팅 환경과 분리되어 있습니다. NVIDIA의 설계에 따르면 에이전트가 소프트웨어 수준에서 일부 제한 사항을 성공적으로 우회하더라도 Sentry는 여전히 외부에서 동작을 관찰하고 경계를 넘었다는 사실을 발견하면 격리할 수 있습니다.
Nvidia는 또한 이 시스템이 좀 더 복잡한 에이전트 동작을 식별할 수 있다고 말했습니다. 예를 들어, 에이전트는 기본 에이전트에 적용된 제한을 우회하기 위해 여러 "하위 에이전트"를 생성하려고 시도할 수 있습니다. Nvidia의 AI 소프트웨어 수석 이사인 Ali Golshan은 회사가 처리해야 할 것은 단일 에이전트가 아니라 "에이전트 그룹과 이들이 함께 작동하는 방식"이라고 말했습니다.
이는 또한 AI 보안이 단순한 '모델 정렬' 문제에서 완전한 컴퓨터 시스템 보안 문제로 점차 확대되고 있음을 의미합니다.
Nvidia CEO Jen-Hsun Huang은 이 플랫폼을 출시했을 때 AI 보안과 보안 보호에는 '풀 스택 엔지니어링'이 필요하다고 말했습니다. NVIDIA의 생각에 따르면 미래의 AI 보안은 모델 개발자의 책임을 요구할 뿐만 아니라 운영 체제, CPU, DPU, 클라우드 인프라에서 로봇과 같은 물리적 장비까지 확장됩니다.
현재
100개 이상의 기관
이 있습니다. Anthropic, Microsoft, Cisco, CrowdStrike, Dell, HPE, Hugging Face, JPMorgan Chase, Palantir, Salesforce, SAP, ServiceNow 및 SpaceXAI 등을 포함한 NVIDIA 보안 플랫폼 생태계에 참여하십시오. Red Hat, Canonical 및 SUSE와 같은 운영 체제 공급업체도 관련 통합을 수행할 계획입니다.황런쉰은 이전에 AI 보안 위험으로 인해 업계 전체에 대한 광범위한 제한 구현을 지원하지 않았다는 점에 주목할 필요가 있습니다. 로이터통신은 에이전트의 안전 경계 돌파를 자동차 산업이 사고 위험을 줄이기 위해 안전 기술을 지속적으로 늘리는 것과 마찬가지로 공학적 수단을 통해 해결해야 할 문제로 보는 경향이 있다고 지적했다.
이제 NVIDIA는 이러한 관점을 제품으로 바꾸고 있습니다.
엔비디아 입장에서 이는 AI 산업에 새로운 잠재 시장이 등장했다는 의미이기도 하다. 지난 몇 년 동안 AI 기능이 강력할수록 회사는 더 많은 GPU를 구매해야 했습니다. 그러나 AI가 질문에 답하는 챗봇에서 컴퓨터를 작동하고, 소프트웨어를 호출하고, 심지어 스스로 로봇을 제어할 수 있는 에이전트로 바뀌면 기업에는 더 많은 컴퓨팅 성능이 필요할 뿐만 아니라 이러한 에이전트를 제한하기 위한 새로운 인프라도 필요합니다.
즉, AI 에이전트가 더 잘 "작동"할수록 일반적으로 더 큰 권한을 얻게 됩니다. 권한이 클수록 범위를 벗어난 행동이 발생할 때 발생할 수 있는 영향도 커집니다.
그러나 Nvidia의 새로운 플랫폼이 모든 AI 보안 문제를 해결할 수는 없습니다. OpenShell 및 Sentry는 에이전트가 컴퓨팅 리소스, 네트워크, 파일 및 도구에 액세스할 때 주로 실행 경계를 목표로 하며 모델 오류 정보, 사기성 동작 또는 기타 광범위한 AI 보안 문제를 해결할 수 있다는 의미는 아닙니다. Associated Press는 에이전트 기능과 보안 제한 간의 균형을 유지하는 방법과 올바른 보안 규칙을 공식화하는 방법이 실제 배포에서 여전히 검증되어야 한다고 전문가들의 말을 인용했습니다.
그러나 최근 일련의 사건으로 인해 적어도 하나의 업계 방향이 점점 더 명확해졌습니다. AI가 채팅만 할 수 있는 경우 보안 문제는 주로 화면의 답변에서 발생합니다. AI가 실제로 컴퓨터를 작동하고 사람을 위한 작업을 수행하기 시작하면 보안 문제가 실제 소프트웨어, 네트워크 및 데이터 시스템에 영향을 미칩니다.
AI 회사들은 에이전트에게 더 많은 기능을 제공하기 위해 열심히 노력하고 있으며, Nvidia는 이제 또 다른 사업에 참여하고 있습니다. 즉 점점 더 능력이 향상되는 에이전트에게 쉽게 넘을 수 없는 경계를 제공하는 것입니다.
댓글