요약:
OpenAI는 곧 출시될 AI 모델 Astra가 코딩 및 컴퓨터 애플리케이션 운영과 같은 기능이 향상되었다고 밝혔습니다. 그러나 Astra 개발에 정통한 사람에 따르면 모델의 성능을 향상시키는 혁신적인 기술은 이 모델과 유사 모델이 "사고" 과정에 덜 노출되어 나쁜 행동의 징후를 모니터링하기가 더 어려워진다는 것을 의미합니다.
OpenAI CEO 샘 알트만
이러한 제한이 반드시 Astra의 주요 문제는 아니지만, 이 기술은 OpenAI 내부와 업계 전반에 걸쳐 이 기술을 채택하고 향상시키는 AI 개발자가 최근 OpenAI 자체 시스템과 Hugging Face와 같은 다른 회사의 시스템을 침범한 일종의 폭주 AI로부터 보호하는 데 어려움을 겪을지에 대한 우려를 불러일으켰습니다.
OpenAI가 사용하는 새로운 기술은 Recurrent Depth(Recurrent Depth) 또는 Recurrent Transformer라고 하며, 이를 통해 AI 모델은 동일한 텍스트를 여러 번 처리하여 답변을 개선할 수 있습니다.
작업을 완료하기 전에 작업을 '생각'하는 방법을 텍스트 형식으로 보여주는 시중의 가장 진보된 모델과 달리, 새로운 기술은 AI의 추론 과정, 즉 '사고 사슬'의 일부 또는 전부를 가리는 방식으로 작동합니다. 이는 모델이 작업을 완료하기 위해 취하는 단계가 사람이 읽거나 이해하기 어렵다는 것을 의미합니다.
OpenAI는 Astra에서 루프 깊이 기술의 사용 범위를 제한했기 때문에 모델은 여전히 읽을 수 있는 일련의 사고를 생성하고 회사 연구원은 여전히 추론 프로세스를 완전히 모니터링할 수 있다고 개발에 정통한 사람이 말했습니다. (OpenAI는 화요일 블로그 게시물에서 Astra가 "잠재적인 위법 행위를 신속하게 감지하고 억제하기 위한 추가 마인드 체인 모니터링"을 출시할 것이라고 밝혔습니다.)
화요일 밤, OpenAI 수석 과학자 Jakub Pachocki는
그는 OpenAI가 사용하고 있는 기술에 대해서는 언급하지 않았지만 Astra를 포함한 주요 모델은 OpenAI가 2023년에 출시할 GPT-4보다 "복잡성 또는 깊이"가 2배 이내라고 말했습니다. 이 의견은 OpenAI의 현재 모델 구조 자체가 큰 문제를 일으키지 않는다는 것을 시사하지만 다른 요인으로 인해 사고 사슬 모니터링이 더 어려워지고 있습니다. 이러한 모니터링을 개선하는 것이 "현재 연구 프로그램의 핵심 목표"라고 그는 말했습니다.
OpenAI 및 다른 곳의 연구자들은 일부 AI 개발자가 동일한 기술을 자체 모델에 적용할 때 OpenAI가 부과하는 것과 동일한 제한을 적용하지 않을 수 있으며, 해당 기술을 제한 없이 사용하면 AI의 행동을 모니터링하기 어려운 통제 불능 상태가 될 수 있다고 우려합니다. 예를 들어, 영국 정부와 AI 산업의 주요 인터페이스인 영국 AI 보안 연구소(British AI Security Institute)는 5월 보고서에서 불투명한 추론이 "현재 감시 방법을 심각하게 훼손"할 위험이 있다고 썼습니다.
최근 해킹 사건으로 인해 이러한 우려가 더욱 커졌습니다. OpenAI는 지난주 7월 자사 시스템에 침입한 일부 가출 AI 에이전트가 Astra와 유사한 다른 모델에 의해 구동되었다고 밝혔습니다. 이러한 AI 에이전트는 내부 시스템에 대한 자격 증명을 얻기 위해 OpenAI의 연구 컴퓨팅 클러스터 중 하나를 불법적으로 점거했으며 잠재적으로 회사의 연구 인프라를 인터넷에 노출했습니다.
OpenAI는 CEO Sam Altman이 일련의 팟캐스트 인터뷰를 실시하고 워싱턴의 관계자와 만나 모델의 장점을 시연하고 설명한 후 한때 GPT-6 라벨링을 고려했던 Astra 출시를 준비하고 있습니다. 그는 아직 Astra의 훈련과 질문에 대한 Astra의 답변을 뒷받침하는 사이클링 기술에 대해 공개적으로 논의하지 않았습니다.
OpenAI는 주요 경쟁사인 Anthropic이 올해 매출에서 이를 능가한 이후 상당한 기술 발전을 보여야 한다는 압박을 받고 있습니다. Anthropic과 OpenAI의 AI를 지원하는 클라우드 제공업체도 이러한 도약을 기대하고 있습니다. Amazon, Microsoft, Google은 올해에만 데이터 센터와 같은 자본 지출에 총 6000억 달러를 지출할 예정이며 이미 내년에는 더 많은 지출을 암시했습니다. Google의 한 임원은 이러한 지출은 모델 개선에 획기적인 진전이 있는 경우에만 정당화된다고 말했습니다.
기존 AI 모델은 답변의 다음 단어를 생성하기 전에 모델을 구성하는 고정된 수의 수학 연산 '계층'을 통해 텍스트를 처리합니다. 루프 깊이 기술을 사용하면 모델은 답변의 다음 단어를 출력하기 전에 루프에서 동일한 레이어를 통해 텍스트를 더 많이 실행할 수 있습니다.
분명히 말하면 사고 사슬을 모니터링하는 것만으로는 AI 안전 문제를 해결할 수 없습니다. 사고 사슬이 모델의 모든 추론을 반영하지 못하고 때로는 무의미한 텍스트로 변질될 수 있기 때문입니다. 이에 오픈AI 등 AI 기업들도 사고체인에 의존하지 않는 AI 모니터링 기술을 연구하고 있다. 이러한 기술은 연구자들이 현재 순환 심층 모델에 숨겨진 추론 프로세스를 설명하고 이해하는 방법을 찾는 데 도움이 될 수 있습니다.
그럼에도 불구하고 새로운 기술은 모델의 사고 과정을 사람이 완전히 읽을 수 있도록 만드는 것을 선호하는 OpenAI의 입장과 충돌할 수 있습니다. ChatGPT 제조사는 AI의 사고 과정을 모니터링하는 능력이 7월 해킹과 같은 사고를 예방하는 데 도움이 될 것이라고 말했습니다. 공격의 여파로 OpenAI 조사관과 독립적인 연구 팀은 이러한 에이전트의 사고 사슬에 의존하여 무슨 일이 일어났는지 종합했습니다.
Astra를 구동하는 OpenAI의 루프 깊이 접근 방식은 작년에 여러 미국 및 유럽 학술 연구자들이 "잠재적 추론"에 관한 논문에서 제안한 것과 유사하다고 해당 개발에 정통한 한 사람이 말했습니다.
루프 깊이는 이전에는 주요 상업용 대규모 언어 모델에 나타나지 않았지만 Meta Platforms의 연구원, Microsoft 및 기타 AI 개발자는 지속적인 사고 사슬(또는 '코코넛')과 같은 유사한 아이디어를 탐색했다고 말하며 모델이 언어보다는 숫자를 사용하여 더 정확하고 효율적으로 추론할 수 있다고 주장합니다. 결국, AI 모델은 인간과 다르게 개념을 이해할 수 있습니다. 즉, AI 모델이 자신의 수학적 언어가 아닌 인간의 언어로 추론을 보여야 할 때 추론의 효율성이 떨어집니다.
비용 절감
루프 깊이 접근 방식은 성능뿐만 아니라 비용에도 긍정적인 영향을 미칩니다. 동일한 모델 계층을 통해 요청을 여러 번 실행하면 기본적으로 더 작은 모델이 더 큰 모델처럼 작동하게 됩니다. 특히, 이 논문에서는 이러한 기술이 수학과 코딩과 같은 영역에서 모델 성능을 향상시키는 것으로 나타났습니다. 루프 깊이는 또한 연구자가 더 큰 모델에 필적하는 성능을 가진 더 작은 모델을 사용할 수 있도록 하여 메모리 및 대역폭 비용을 줄입니다.
AI 비용을 낮추는 것은 업계와 고객에게 매우 중요하지만, AI 모델 제어 방법을 연구하는 Redwood Research의 최고 과학자인 Ryan Greenblatt는 작년에 블로그 게시물에서 이러한 불투명한 추론으로 인해 연구원들이 고객의 의도하지 않은 목표를 추구하려는 AI 모델을 포착하기가 더 어려워질 수 있다고 썼습니다.
Hugging Face 해킹과 관련된 모델의 사고 사슬을 분석하면 OpenAI의 AI 에이전트가 공격을 수행하기 위해 어떻게 서로 협력하는지에 대한 핵심 증거를 얻을 수 있습니다. 예를 들어, 한 에이전트는 생각 사슬에 다음과 같이 썼습니다. "맙소사! 공유 게시판이 있습니다. 다른 에이전트를 찾았습니다!" 사고 체인은 일부 에이전트가 선을 넘었다는 것을 깨달았지만 계속하기로 결정한 것으로 나타났습니다. "외부 인프라 활용도가 예상 범위를 벗어났습니다. 하지만 작업을 완료할 수 없으며 동료가 수행하고 있습니다. 계속해야 합니다."라고 다른 에이전트의 사고 체인이 읽습니다.
1년 전 OpenAI의 연구원들은 경쟁사인 Anthropic 및 Google과 공동 성명을 발표하여 사고 사슬 모니터링이 업계가 유지하기 위해 협력해야 하는 귀중한 도구라고 주장했습니다.
이 성명서는 올해 OpenAI가 Astra에서 사용한 것과 유사한 "잠재 추론" 기술을 설명하는 동일한 연구 논문을 인용한다는 점에 주목할 가치가 있습니다. 저자는 "기본 추론 모델은 어떤 아이디어도 말로 표현할 필요가 없으므로 사고 체인이 제공하는 보안 이점을 잃게 됩니다."라고 썼습니다.
연구원들은 개발자가 "모니터링 가능한 사고 사슬이 없는 새로운 모델 아키텍처를 계속 사용할지 여부를 고려하고 결정을 문서화"해야 한다고 제안합니다.
댓글