요약:
올여름 OpenAI 팀은 AI가 회사 내부와 외부에서 보안 침해를 일으키는 이유를 이해하기 위해 분주히 노력했습니다. 이 기간 동안 CEO 샘 알트만(Sam Altman)을 비롯한 많은 고위 임원들이 스타트업 굿파이어(Goodfire)와 많은 미팅을 가졌다. 인류가 지원하는 Goodfire의 기술은 AI 모델이 특정 방식으로 작동하는 근본적인 이유와 AI가 제어할 수 없게 되는 것을 방지하는 방법을 이해하는 것을 목표로 합니다.

Goodfire CEO Eric Ho(왼쪽)와 OpenAI CEO Sam Altman.
이 문제에 대해 잘 아는 두 사람은 협상 과정에서 OpenAI 임원이
50억 달러 이상
을 모금하겠다고 제안했다고 밝혔습니다. 회사는 설립된 지 2년 된 이 스타트업 기업을 합리적인 가격에 인수하거나 다른 형태의 사업 협력을 체결할 예정이다. Goodfire는 지난 2월 사모 투자에서 회사 가치를 12억 5천만 달러로 평가하는 자금 조달 라운드를 완료했으며, 50억 달러 제안은 해당 가치에 대한 엄청난 프리미엄을 나타냅니다.결국 인수는 성사되지 않았습니다. 이전에 보고된 적 없는 이번 일련의 협상은 AI로 인한 보안사고가 급증하면서 앤트로픽과 오픈AI 모두 “자신들이 구축하는 AI 기술을 통제할 수 있는 능력”에 대해 우려하고 있음을 보여준다. 한때 인기가 없었던 업계 방향이었던 메커니즘 설명성은 이제 많은 주목을 받고 있습니다.
이 문제에 정통한 한 관계자는 굿파이어 경영진이 독자적인 개발을 유지하고 여러 AI 기업에 기술을 수출할 경우 회사 가치가 50억 달러 이상이 될 것이라고 믿고 있기 때문에 협상이 결렬된 주된 이유 중 하나라고 말했습니다.
OpenAI, Anthropic 및 Google의 경영진은 모두 AI 동작을 모니터링하는 기존 방법의 신뢰성이 감소하고 있으며 그 결과 Goodfire 소프트웨어의 가치가 점점 높아지고 있음을 인정합니다. 기술적인 경로는 OpenAI와 같은 개발자의 전통적인 솔루션과 다릅니다. 전통적인 솔루션은 AI의 실제 동작을 면밀히 관찰하면서 모델 추론 중에 사고 체인 출력의 텍스트를 읽는 것입니다. (아래 굿파이어 CEO 인터뷰 시청)
OpenAI의 Astra 모델에 숨겨진 비밀 기술과 같은 새로운 AI 개발은 모델에서 출력되는 사고 체인 정보의 양을 압축하여 모니터링을 더욱 어렵게 만듭니다.
최근 몇 달 동안 AI 보안 사고가 잇달아 발생했습니다(OpenAI의 기술로 인해 발생하고 OpenAI 자체 시스템 일부에 침입한 것으로 알려진 Hugging Face 침입 사고도 포함). OpenAI 등 대형 모델 제조업체의 경우 보다 강력한 보안 보호 구축이 시급합니다.
자사 AI가 기업과 정부 시스템에 침입해 경제적 손실을 입게 되면 OpenAI, Anthropic 등 기업 역시 막대한 법적 보상을 받거나 심지어 기소될 위험에 직면할 수 있습니다.
Goodfire의 핵심 전문 기술은
mech interp
입니다. . 사고 체인 모니터링과 달리 Goodfire 및 Martian과 같은 경쟁 제품의 소프트웨어는 모델 내부에서 실행되는 수학적 계산을 직접 관찰합니다. Goodfire는 또한 이 기술의 현재 성숙도가 사고 체인 모니터링만큼 좋지 않다는 점을 인정했습니다. 일부 AI 연구자들은 또한 과학적 연구의 엄격함이 다른 기계 학습 연구 방향보다 약하다고 믿습니다.
그러나 Goodfire의 공동 창립자이자 최고 과학자인 Tom McGrath는 YouTube 인터뷰에서 스타트업의 기술이 신속하게 반복되고 비용이 사고 체인 모니터링보다 훨씬 낮을 것이라고 말했습니다. 후자는 다른 모델의 사고 체인 출력을 읽으려면 대규모 모델을 실행해야 합니다. 그는 향후 6개월 이내에 설명 가능성 기반 모니터링 솔루션이 사고 사슬 모니터링 기능을 따라잡을 것이라고 예측합니다.
샌프란시스코 스타트업인 Silico 제품은 AI 에이전트를 배포하여 모델이 사이버 공격을 시도하는지 여부를 감지하는 등 다양한 연구 실험을 자동으로 수행하는 Silico 제품에 대한 연간 구독권을 기업에 판매합니다. 고객으로는 라쿠텐(Rakuten)과 AI 신경과학 기업 프리마 멘테(Prima Mente) 등이 있다. 굿파이어는 수익을 창출했지만 정확한 규모는 공개되지 않았습니다.
메커니즘을 해석하려면 주요 제조업체에서 엄격하게 기밀로 유지하는 모델 가중치(AI 모델을 구성하는 수치 매개변수)에 대한 심층적인 액세스가 필요합니다. 따라서 굿파이어 직원 중 일부는 고객사 현장에 상주해 업무를 수행하게 된다.
정보통에 따르면 OpenAI와 Goodfire 간의 협상 중에 Altman은 Goodfire 연구원 Nick Cammarata의 연구 결과에 특별한 관심을 기울였습니다. Kammarata는 한때 OpenAI에서 근무했습니다. 지난 달 그는 "신경망은 명확하고 해석 가능합니다."라는 제목의 기사를 발표하여 업계에 널리 퍼졌습니다. 그는 메커니즘 해석성의 도움으로 연구자들이 이전에 생각했던 것보다 AI 모델 내부에 있는 수십억 개의 뉴런(모델 내부의 수학적 연산 단위)을 더 쉽게 이해할 수 있다고 제안했습니다. 많은 연구자들은 이러한 이해가 더 나은 성능을 가진 모델을 개발하는 데 도움이 될 수 있다고 믿습니다.
많은 주요 대형 모델 회사들이 메커니즘 해석성 연구 팀을 설립했습니다. 이 분야의 선구자 중 하나인 Anthropic은 특히 이 방향에서 적극적으로 활동해 왔습니다.
Chris Ola는 메커니즘 설명 가능성 분야의 창시자로 간주됩니다. 그는 2020년 OpenAI를 떠난 후 Anthropic을 공동 창립했으며 현재 Claude가 개발한 벤처에서 설명 가능성 연구를 이끌고 있습니다. Anthropic은 지난해 Goodfire에 대한 투자를 완료했으며, Anthropic이 외부 스타트업에 직접 지분을 인수한 것은 역사상 처음입니다. CEO Dario Amodei는 당시 다음과 같이 말했습니다. "이번 투자는 메커니즘 설명 가능성이 블랙박스 신경망을 이해 가능하고 제어 가능한 시스템으로 전환하는 데 가장 유망하다는 우리의 믿음을 나타냅니다."
모집 정보에 따르면 OpenAI는 정렬 및 해석 가능성 분야의 연구원도 모집하고 있습니다. 올해 초 OpenAI는 사이버 공격 및 생물학 무기와 관련된 악의적인 질문에 응답하는 등 모델의 위험한 결과를 식별하기 위해 해석 기술을 보안 프로세스에 통합했습니다. OpenAI에 가까운 사람들은 회사 내 연구원들 사이에서 설명 가능성 방향에 대한 열정이 커지고 있다고 말합니다.
댓글