요약:
Jacob Coxon은 X에서 Anthropic에서 사임을 발표했습니다. 그는 지난 3년 동안 OpenAI와 Anthropic에서 사전 훈련 연구에 참여해 왔지만 어느 회사도 책임 있는 방식으로 AI 개발을 진전시키지 못하고 있다고 말했습니다. 대신, 그들은 "자기 개선 초지능으로 곧장 나아가고" 인간의 안전을 위험에 빠뜨리고 있습니다.
Coxon은 현재 이러한 폐쇄형 실험실에서 구축되고 있는 AI 시스템이 곧 해킹 공격을 수행하고 특정 분야의 패턴을 하루아침에 바꾸고 현실 세계에서 힘과 자원을 얻을 수 있는 '초인적' 능력을 갖게 될 것이라고 말했습니다. 그는 관련 연구 진행이 여러 방향으로 지속적으로 발전해 왔으며 뚜렷한 둔화 조짐이 보이지 않고 있다고 지적했습니다.
그는 또한 OpenAI CEO Sam Altman과 Anthropic CEO Dario Amodei의 공개 성명을 보면 외부 세계에서는 두 회사 모두 조심스럽게 AI 개발을 추진하고 있다고 생각할 수 있지만 그는 사실이 아니라고 생각한다고 언급했습니다. Coxon은 이러한 실무자들이 AI가 "금세기 말까지 우리 모두를 죽일 수 있다"고 개인적으로 믿고 있으며 이는 마케팅 이야기가 아니라고 주장합니다. 그는 또한 Altman과 Amodei와 같은 경영진이 언론에 직면할 때 그들의 수사를 보다 절제된 것처럼 보일 것이라고 말했지만, 개인적으로는 실제로 무엇이 만들어지고 있는지에 대해 깊이 우려하고 있다고 말했습니다.
그의 의견으로는 OpenAI와 Anthropic의 내부 문화도 다릅니다. Coxon은 OpenAI의 많은 직원이 "관련된 문명 수준의 위험을 깊이 인식"하지 못하고 있다고 말했습니다. Anthropic에서는 관련 위험이 "모든 사람에게 매우 명확"하지만 회사는 여전히 AGI를 최초로 개발하기 위한 경쟁에 묶여 있습니다. Coxon은 Anthropic이 다른 사람들이 책임감 있게 행동하지 않을 수 있으므로 먼저 경주에서 승리해야 한다고 믿었다고 말했습니다.
Coxon은 이러한 맥락에서 많은 주요 결정이 민간 기업의 Slack에서만 완료되어서는 안 된다고 믿습니다. 그는 최근 사건 이후 미국 AI 연구소 간의 조정이 강화될 것이라고 조심스럽게 낙관하지만, 그러한 협력이 미국 이외의 연구소로 확대되면 효과가 없을 것이라고 믿고 있습니다. 이를 위해 모델 용량 개선을 일시적으로 금지하는 방안도 검토해볼 수 있다고 제안했다.
게시물 말미에서 Jacob Coxon은 다른 연구실 연구원들에게 향후 5년에 대해 진지하게 생각해 보고 문제를 계속 피하는 것이 아니라 AI 개발을 다른 방향으로 추진할 것을 촉구했습니다.
댓글