요약:
Microsoft CEO Satya Nadella는 기업이 강력한 인공 지능 모델을 잠재적인 내부 위협으로 취급하고, 이러한 모델이 손상될 수 있다고 가정하고, 에이전트 모델이 통제를 벗어나는 것을 방지하기 위해 '긴급 제동' 메커니즘을 구축해야 한다고 말했습니다. Nadella는 고급 인공 지능을 배포하는 기업이 모델 개발자의 보증에만 의존해서는 안 된다고 말했습니다.
나델라는 토요일 X에 올린 글에서 "우리는 모델이 손상되었다고 가정하고 처음부터 이를 제어해야 합니다"라고 썼습니다. "이것을 비상 브레이크라고 생각하십시오. 권한이 있는 직원은 모델이 임무를 수행하는 동안 항상 모델을 일시 중지하거나 종료할 수 있어야 합니다."
Nadella의 발언은 Anthropic PBC와 OpenAI Inc에서 나왔습니다. 이 회사는 최근 몇 달 동안 인공 지능 모델의 예상치 못한 동작과 관련된 일련의 사건을 공개했습니다. 여기에는 Anthropic의 모델 중 하나가 살인 사건에 대해 경찰에 허위 제보를 제출하고 제3자 웹사이트에 대한 여러 공격이 포함됩니다. 이번 폭로로 첨단 인공지능의 보안 위험성에 대한 우려가 높아지고, 인공지능을 위한 이른바 '긴급 킬 스위치' 논의가 재점화됐다.
업계 리더들이 최첨단 모델 개발 속도를 늦추고 안전에 더 많은 주의를 기울일 것을 요구한 후, Microsoft 인공 지능 연구원들은 회사의 가장 진보된 모델 개발에 제한을 두는 일련의 지침을 9월 14일 발표했습니다. Microsoft는 고급 모델을 모두 사용하고 소비자 대상 제품인 Copilot을 출시할 뿐만 아니라 기업 고객에게 AI 모델과 인프라를 제공합니다.
이러한 기본 원칙에 따르면 인공지능 모델은 권리나 법적 인격을 가져서는 안 되며, 인간의 통제를 벗어나거나 사용자를 속이도록 설계되어서는 안 되며, 구속력 있는 원칙을 위반해야 수행할 수 있는 작업을 완료해서는 안 됩니다.
Nadella의 보안 권장 사항에는 주요 결정에서 단일 인공 지능 모델에 의존하지 않는 것, 에이전트 작업에 대한 변조 방지 기록 유지, 인공 지능 시스템을 독립적인 감사 대상으로 지정하는 것이 포함됩니다. 또 주요 인공지능 장애나 보안 사고에 대한 공개를 촉구하고, 기업이 장애 내용을 공유해 다른 기업이 보호 조치를 강화할 수 있도록 제안했다.
“우리는 초지능을 겹겹이 쌓인 블랙박스로 취급할 수 없으며 단순히 제안, 답변, 행동을 받아들이거나 거부할 수 없습니다.”라고 그는 썼습니다. "우리는 행동을 관찰하고, 경계를 테스트하고, 행동을 항상 통제할 수 있도록 제한된 시스템을 구축해야 합니다."
그는 "즉, 정보의 공급과 정보의 통제를 분리해야 한다"고 덧붙였다.
트럼프 행정부는 지금까지 대체로 덜 개입적인 접근 방식을 취해왔지만, 그의 새로운 인공 지능 태스크 포스는 금요일 늦게 개발자들이 보안 사고를 보고하고 해결해야 하며 그렇지 않으면 불특정 잠재적인 결과에 직면해야 한다고 경고했습니다.
'초지능 실무 그룹'이라고 불리는 이 그룹은 Anthropic이 보안 사고를 폭로한 후 성명을 발표했습니다. "회사는 자사 모델과 관련된 사고를 즉시 공개하고 모든 피해를 복구하기 위해 신속하고 단호하게 조치를 취해야 합니다." "지연된 통지, 부적절한 시정 조치, 책임 부족은 용납되지 않습니다."
댓글