엔비디아, 로봇 통제력 상실 방지 위한 AI 안전 시스템 출시

요약:

블룸버그에 따르면 9월 28일

Nvidia는 새로운 2계층 AI 보안 시스템을 출시했습니다

황런순

Nvidia는 칩을 넘어 제품 라인을 빠르게 확장해 왔으며 현재 자사 하드웨어에서 실행할 수 있는 두 가지 오픈 소스 소프트웨어 보안 도구를 출시하고 있습니다. AI 에이전트가 액세스할 수 있는 항목을 실시간으로 제어하고 규칙을 위반할 경우 이를 종료하도록 설계되었습니다.

오픈 에이전트 보안 플랫폼(Open Agent Security Platform)이라고 불리는 새로운 시스템은 AI 개발을 지연시키지 않으면서 침입을 방지할 수 있는 방법을 제공하는 것을 목표로 합니다.

Nvidia의 기업 AI 담당 부사장인 Justin Boitan은 월요일 시스템을 발표하기 전 기자들과의 브리핑에서 최고 AI 연구소가 초기부터 AI 모델을 평가하기 위해 이 기술을 사용했다면 Hugging Face에 대한 공격을 예방할 수 있었을 것이라고 말했습니다.

"우리가 현재 가지고 있는 정보를 바탕으로 볼 때, 이 새로운 보안 플랫폼이 침입을 예방할 수 있었을 것입니다."라고 그는 말했습니다. 현재 자율주행 AI 에이전트의 부적절한 행동은 AI 업계에 충격을 주고 있으며 일각에서는 AI 기술 개발 속도를 늦춰야 한다는 목소리도 나오고 있다.

Boitano는 OpenAI나 경쟁사인 Anthropic이 이 새로운 시스템을 사용하여 모델 훈련 과정을 모니터링할 계획인지에 대해서는 언급하지 않았지만 기자들에게 이들 회사에 물어볼 것을 요청했습니다.

이전에 Nvidia CEO Jensen Huang은 AI가 인간의 통제력을 잃을 위험을 경시해 왔습니다. 최근 Huang은 AI 안전 문제를 더 큰 규제나 글로벌 조정이 필요한 문제라기보다는 엔지니어링 과제로 설명했습니다. 그는 트럼프 미국 대통령과 함께 기술이 인류를 멸종시킬 수 있다는 일부 AI 개발자들의 주장을 반박하면서도 AI가 엄격한 안전성 테스트를 거쳐야 한다고 강조했습니다.

AI 안전 문제에 대한 Huang Renxun의 엔지니어링 솔루션은 두 부분으로 구성됩니다.

한편, Nvidia Sentry는 Nvidia의 BlueField 데이터 처리 장치에서 실행할 수 있는 신제품입니다. 엔비디아는 이 제품이 AI 에이전트의 행동을 감독하고, 의심스러운 행동이 발견되면 에이전트에 개입해 격리하기 위한 AI 모니터링 메커니즘의 추가 계층을 제공하도록 설계됐다고 밝혔습니다.