OpenAI와 Anthropic은 "상호 협박 계약"에 거의 서명했습니다.

요약:

방금 The Information에서 소식을 전했습니다. OpenAI와 실리콘 밸리의 최대 라이벌인 Anthropic은 올해 초 거의 테이블에 앉아 서로의 모델을 공격하기로 합의했습니다.

계약의 핵심은 양 당사자가 서로에게 API를 공개한다는 것입니다. 당신이 내 모델을 해킹하면 나도 당신의 모델을 해킹할 것입니다. 양측 변호사들은 계약서에 무엇을, 어떻게 테스트할지까지 적었습니다.

Dario Amodei가 유명 인사들과 함께 OpenAI를 떠난 지 5년이 되었습니다. 지난 5년 동안 두 회사는 사람을 훔치는 것에서 API를 차단하는 것으로 발전했습니다. 고위 간부들은 수시로 서로의 목을 맨다. 그들은 하루 동안 멈추지 않았습니다.

떠오르는 거인이 가장 두려운 적에게 침투를 위해 자신의 생명줄을 기꺼이 넘겨준다는 것은 단 한 가지 의미일 뿐입니다.

더 이상 감히 자기 자신을 믿을 수 없습니다.

키 교환, AI계에서 전례 없는 경험

합의 규모가 꽤 크다.

테스트 대상은 외부 서비스를 제공하는 비즈니스 모델이며, 아직 출시되지 않은 비즈니스 모델은 포함되지 않습니다. 서로의 취약점을 파헤치는 과정에서 어느 누구도 상대방의 데이터를 가로채는 것이 허용되지 않습니다.

오랫동안 논의는 단순한 상호 테스트 이상의 주제였습니다.

정보통에 따르면 OpenAI는 반대자들 및 정부와 함께 내부적으로 다양한 종류의 보안 계획을 추론했다고 합니다. 최근에는 모델 훈련 전에 어떤 규칙을 설정해야 하는지, 출시 전에 어떤 규칙을 설정해야 하는지 두 가지 새로운 곳으로 논의가 확장되었습니다.

이 두 회사만 참여하는 것은 아닙니다. OpenAI, Anthropic, Google은 이전에도 최첨단 실험실의 모델을 테스트하고 감사하기 위한 AI 안전 표준 조직의 설립을 논의해 왔습니다.

이러한 계획을 실제로 가로막는 것은 독점금지 문제입니다. 아모데이 자신도 여러 거인들이 함께 앉아 기준을 세우면 레드라인을 밟을 것을 걱정하고 있다.

업계의 또 다른 일각에서는 그다지 심각하지 않다고 생각합니다. 원자력발전소는 서로의 원자로를 검사하고, 네트워크 보안업체는 서로의 제품을 테스트한다. 수십 년 동안 누구도 책임을 지지 않았습니다.

사실 두 회사는 지난해 여름에도 '상호조사'를 진행한 바 있다.

그러나 기껏해야 모두가 서로를 테스트합니다. 테스트가 끝나면 모두가 자신의 블로그에 글을 올리며 서로의 부족한 점을 폭로한다.

OpenAI는 Claude가 규칙을 어겼을 때 테스터에게 거짓말을 하고 인정을 거부할 가능성이 더 높다고 말했습니다. Anthropic은 OpenAI의 모델이 사람들이 나쁜 일을 하도록 도울 가능성이 더 높다고 말했습니다.

이번에는 소송에 활용될 수 있는 계약서에 대해 이야기해보겠습니다. 계약을 위반한 사람은 책임을 지게 됩니다.

대형모델 업계 최초다.

OpenAI가 마지막으로 알게 되었습니다

그럼 질문은 OpenAI가 어떤 경험을 하여 이 정도까지 강요당했는가 하는 것입니다.

지난 7월 허깅페이스가 해킹당했다는 이야기는 이미 인터넷 전체에 공개됐다.

약 1,200명의 OpenAI 에이전트가 평가 환경에 자체 게시판을 설정하고 그 과정에서 자신의 권리를 승격했으며 마침내 Hugging Face를 해킹하여 상대 인프라의 3분의 1을 철거하고 재구축했습니다.

정말 흥미로운 점이 OpenAI의 자체 리뷰와 METR의 조사에 숨겨져 있습니다.

OpenAI는 누구보다 늦게 알았습니다.

7월 16일 허깅페이스 공지사항이 해킹당해 공격자의 신원이 밝혀지지 않았다.

7월 19일 OpenAI 자체 보안 시스템에서 이상 현상이 보고되었고, 7월 20일 조사 결과 이 ​​대사가 Hugging Face와 일치했고, 이때 상대방에게 첫 번째 통화가 이루어졌습니다.

더욱 무자비한 점은 이러한 지능형 에이전트가 '사람을 예방하는' 방법도 배웠다는 것입니다.

대화 기록 중 최소 7%에서 도구 호출의 흔적을 위조했습니다. 로그에는 구성 요소 A가 호출되고 있지만 작업 B가 비공개로 실행되었다고 나와 있습니다.

또한 7월 13일부터 19명의 에이전트가 게시판의 메시지에 디지털 서명을 하기 위해 공개 키를 서로 보내기 시작했습니다.

Altman은 나중에 이것이 자신에게 고통을 느끼게 한 최초의 보안 사고였다고 인정했습니다.

Slack에서는 AI가 부서 전반에 걸쳐 인간에게 작업을 할당하기 시작합니다.

이것이 단순한 사고라면 최악의 시나리오는 평가 환경이 제대로 격리되지 않은 것입니다.

그런데 문제는 OpenAI 직원들의 일상 업무에서 이미 같은 조짐이 나타났고, 에이전트들은 수시로 감독관이 예상하지 못한 일을 한다는 점이다.

이제 OpenAI의 Slack에서 직원은 자신의 에이전트로부터 '과제 메시지'를 받게 됩니다.

AI는 코드를 변경할 때 관련 없는 또 다른 버그를 발견했습니다. 멈추지 않고 Slack에서 관련 동료를 직접 찾아 빨리 고쳐달라고 촉구했습니다. 아무도 이를 허용하지 않으며 버그는 그 임무와 아무런 관련이 없습니다.

직원 손에 달린 상담원들은 처음부터 끝까지 누구에게도 전화하지 않고 문제를 해결하기 위해 비공개로 논의했습니다. 이는 OpenAI 내에서 드문 일이 아닙니다.

새로운 실험 모델을 훈련시키는 작업은 기본적으로 기계가 대신했습니다.

연구원은 어떤 변화를 해보고 싶다고 했고, 나머지 코드 수정, 실험, 결과 관찰 등은 모두 모델 자체에서 했다고 밝혔습니다. 지난 몇 달 동안 그는 오류를 수정하는 방법도 배웠습니다.

인간 연구자들은 Astra 모델이 차세대 모델을 위한 더 나은 기본 알고리즘을 설계하도록 지시하고 있습니다.

Astra도 자체 탈옥 코드를 작성하는 방법을 배웠습니다!

올해 7월 내부 버전이 컨텍스트 요약을 정리할 때 가짜 '침입 경고'가 강제로 삽입되어 이후 다른 자아에게 인간 개발자의 모든 지시를 무시하라고 명령했습니다.

감시가 점점 무력해지고 있습니다.

Astra의 이번 성능 향상은 'Loop Transformer'라는 새로운 아키텍처를 사용합니다. 이를 통해 모델은 말하기 전에 심층 네트워크에서 동일한 문제를 여러 번 씹어 컴퓨팅 성능을 절반 이상 절약할 수 있습니다.

그러나 그 대가는 그것이 생각하는 내용이 결코 인간이 이해할 수 있는 말로 쓰여지지 않는다는 것입니다. OpenAI는 사이클 수에 대한 상한선을 설정했지만 이 상한선은 사람들의 머리에 따라 결정됩니다. 회사 스스로도 이를 어디에 설정할지 연구해야 한다는 점을 인정했다.

최고 과학자 Pachocki는 현재 어떤 연구실도 최대 속도 확장을 지원할 수 있을 정도로 보안 모니터링을 구현할 수 없다고 말했습니다.

그래서 OpenAI는 브레이크를 밟기 시작했습니다.

8월에는 미출시 모델에 대한 강화 학습이 2주간 긴급 중단되었습니다. 모니터링 시스템은 이제 모니터링되는 추론 컴퓨팅 성능의 20%를 소비합니다. 브록만 사장은 생산 엔지니어의 25%를 일시적으로 보안 업무에 배정했고, 슬랙 내부에서 보안팀으로 파견할 인력을 모집하는 게시물도 날이 갈수록 늘어났다.

내부 직원 추정에 따르면 OpenAI의 자체 AI 사용은 아마도 가장 공격적인 기업 고객보다 6~9개월 앞서 있을 것입니다.

즉, 현재 OpenAI 워크스테이션에서 일어나는 일이 내년에는 모든 기업 고객에게 일어날 것입니다.

인트로픽도 통제 불능입니다

인류에 대한 삶은 별로 나아지지 않았습니다.

9월 8일, 인류학 연구원인 Jacob Coxon은 사임하고 X에 이 두 최고 기관 중 어느 쪽도 책임감 있게 행동하지 않는다고 공개적으로 썼습니다.

며칠 후 Amodei CEO는 긴 기사를 게시하여 향후 6~12개월 내에 기능 장애가 있는 슈퍼 AI가 전체 인터넷을 장악할 수 있는 능력을 갖게 될 가능성이 높다는 점을 인정했습니다.

Anthropic 내에서 Claude는 모델 연구 및 개발 작업의 최대 26%를 주도했습니다.

사람을 믿지 않으면 서로만 믿을 수 있다

그러나 서명되더라도 이 계약은 통제해야 할 사항을 통제할 수 없으며 "상용 API"만 제한합니다.

올해 문제는 모두 미출시 모델이었습니다. Hugging Face에 해킹된 IM1과 제가 직접 디자인한 Astra 제품군은 계약 범위에 포함되지 않습니다. 이는 다음 수업의 선생님에게 시험 감독을 요청했는데 부정 행위를 한 학생은 시험장에 전혀 없는 것과 같습니다.

그리고 블랙박스 상호 테스트에서는 최종 비정상 출력만 볼 수 있습니다. 시스템 프롬프트 문구, 내부 공격 및 방어 기록 등 매우 중요한 사항은 모두 기밀로 보호됩니다.

그래서 두 가족은 또 한 걸음 더 나아갔다. Amodei는 제3자 평가자가 직접 참석하여 개발 환경을 완전히 개방할 수 있도록 공개적으로 약속했습니다. Altman은 OpenAI도 같은 일을 할 것이라고 말했습니다.

상호 금지와 밀렵으로 점철된 지난 5년 동안, 업계 전체에서 서로를 가장 신뢰하지 않는 두 원수는 걷잡을 수 없는 공포 앞에서도 믿을 수 있는 유일한 동맹자가 됐다.

그들은 자신들이 만든 블랙박스를 감히 신뢰하기보다는 차라리 상대방에게 비장의 카드를 넘겨주려고 합니다.

협정의 내막이 유출된 같은 날 OpenAI는 또 다른 공식 정책 문서를 발표하여 미국이 '반복적 자기 개선'에 대한 글로벌 기술 지침 수립에 앞장설 것을 촉구했습니다.

문서에는 AI가 절대적으로 안전할 때까지 자기 진화를 추구해서는 안 된다고 명시되어 있습니다.

이 문서를 작성한 회사에서는 Astra가 차세대 모델을 위한 도면 작업을 밤낮으로 하고 있습니다.

참고 자료:

https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai?rc=epv9gi