요약:
Anthropic은 대규모 모델의 위험을 평가하기 위해 외부 평가자에게 내부 직원 수준에 가까운 액세스 권한을 부여했습니다. 이러한 움직임은 AI 기술이 재앙적으로 통제 불능에 빠질 수 있다는 외부 우려에 대응하여 안전 보호 메커니즘을 더욱 강화하겠다는 회사의 약속을 이행하는 것입니다.
비영리 단체인 METR은 OpenAI, Anthropic, Google, Meta 등 선도적인 AI 연구소와 협력해 왔습니다. 이제 METR 팀은 Claude 개발자 사무실에 상주하며 하드웨어 장비와 내부 시스템에 접근할 수 있습니다.
외부 세계에서는 더 뛰어난 AI 시스템이 경제, 네트워크 보안, 심지어 모든 인류에게 가져올 수 있는 위험에 대해 점점 더 우려하고 있습니다. 제3자 평가 기관에 더 큰 책임을 맡기는 것은 주요 AI 연구소가 제안한 핵심 구현 방안 중 하나입니다.
올해 9월 앤트로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)는 AI 수석 연구소에 외부 감사인을 파견하겠다는 계획을 제안했지만, 두 주요 라이벌인 샘 알트만(OpenAI)과 엘론 머스크(SpaceX)의 지원을 거의 받지 못했다.
목요일 발표는 이러한 약속을 이행하는 첫 번째 단계입니다. Altman은 Amoday의 제안이 실현 가능하다고 말했지만 OpenAI는 아직 외부 평가자를 도입할 계획을 도입하지 않았습니다.
Anthropic은 목요일에 "모델 역량이 계속 증가함에 따라 더 나은 보안 보호와 더 어려운 위험 평가가 필요합니다. 우리의 결정이 대중의 감독을 수용할 수 있기를 바라지만 안전 작업과 관련된 모든 정보는 외부 세계에 공개될 수 없습니다."
외부 평가자를 도입하려는 Anthropic의 계획을 비판하는 사람들은 이 메커니즘이 이해 상충을 야기할 수 있다고 믿으며 과거 회계 업계의 폐해를 예로 들어 보다 엄격한 정부 감독 도입을 옹호합니다.
Anthropic은 모든 정보를 공개하는 것이 악의적인 행위자나 경쟁자에 의해 이용될 수 있다고 주장했습니다. 또한 이 평가자 그룹의 작업 모델은 은행 감독의 작업 모델과 유사하다고 덧붙였습니다. 즉, 규제 기관은 대형 은행 내부에서 일하도록 영구 검토자를 파견합니다.
회사는 "은행의 위험한 운영이 공익을 위협하는 경우 제3자가 숨겨진 위험을 사전에 감지할 수 있어야 한다"고 말했습니다.
또한 Anthropic은 보안 관련 문제가 올해 계획된 IPO에 영향을 미치지 않을 것이라고 투자자들에게 확신시켜야 한다는 압력을 받고 있으며 회사 가치는 2조 달러 이상이 될 것으로 예상됩니다. 이번 주 회사의 투자자 프레젠테이션 자료는 보안 통제 조치를 소개하는 데 많은 공간을 할애했습니다.
METR은 한때 Hugging Face에 대한 OpenAI 통제 불능 모델 침입 조사에 참여하여 수천 개의 로그를 검토하고 작업을 수행하기 위해 엔터프라이즈 노트북을 장착했습니다.
현재 Anthropic은 6명의 METR 직원을 채용하여 그들에게 회사 하드웨어와 사무실 공간을 제공하고 회사 내부 위험 평가 팀과 거의 동일한 수준의 내부 도구 및 시스템에 대한 액세스를 제공합니다.
AI 연구소는 내부 위험 부서의 동료와 마찬가지로 직원들도 평가자와 정보를 공유하도록 권장한다고 밝혔습니다.
Anthropic은 이러한 협력에 대해 METR에 수수료를 지불하지 않습니다. 연구기관은 AI 기업 및 그 직원으로부터 기부금을 받지 않습니다. 기금은 개인, 공공복지단체, 영국인공지능안전연구소(British Artificial Intelligence Safety Institute) 등 정부기관의 기부금으로 마련된다.
평가자는 분석 보고서를 외부 세계에 공개하며, Anthropic은 보고서 공개를 거부할 권리가 없습니다. 그러나 기업은 평가자에게 고객 데이터, 변호사-고객 특권으로 보호되는 콘텐츠, 모델 아키텍처에 대한 세부정보 등 특정 범주의 정보를 수정하도록 요청할 수 있습니다.
Anthropic은 Accenture와도 지속적으로 협력하고 있습니다. 두 당사자는 지난 달 보안 테스트 파트너가 되었다고 발표했으며, 각각 새로운 보안 보호 시스템을 구축하기 위해 최소 10억 달러를 투자하기로 약속했습니다. 화학 및 생물학 무기와 관련된 위험을 구체적으로 검토하는 제3자 테스트 기관인 SecureBio도 있습니다.
Anthropic은 "우리는 자발적으로 외부 평가자를 파견하며 모든 최첨단 AI 기업이 동일한 접근 방식을 채택해야 한다고 믿습니다."
댓글