요약:
인류학 보안 연구원은 화요일 인공 지능이 "모든 인류를 파괴"할 확률이 10% 이상이라고 말했습니다. 이 발언은 다른 직원이 인공지능 연구실이 "우리 목숨을 걸고 있다"는 우려 때문에 회사를 떠나기로 결정했다고 말한 지 불과 몇 시간 만에 나왔습니다.
이 의견은 Anthropic과 OpenAI가 계속해서 상당한 자금을 조달하고 예상되는 공개 상장을 향해 나아가고 있음에도 불구하고 기술이 통제 불능 상태에 빠지고 인류에 위협을 가할 수 있다는 인공 지능 연구 및 개발의 핵심에 있는 사람들 사이에서 점점 더 우려하고 있음을 강조합니다.
인류학 연구자인 제이콥 콕슨(Jacob Coxon)은 화요일 회사에서 사임했다고 말했습니다. 그는 Anthropic이나 OpenAI 모두 책임 있는 관행을 채택하지 않았다고 X 플랫폼에 게시했습니다.
"그들은 인간의 생명을 걸고 자기 반복적 초지능을 향해 직진하고 있습니다."
자체 반복이란 인공지능 시스템이 사람의 개입 없이도 자체 최적화를 달성할 수 있음을 의미합니다. 종종 재귀적 자기 개선이라고 불리는 이 기술은 아직 달성 가능하지 않지만 주요 AI 연구소에서는 이를 위해 노력하고 있습니다.
이 기술의 힘을 과소평가하지 마십시오."라고 Coxon은 말했습니다. "머지않아 모든 시스템을 해킹하고 하룻밤 사이에 모든 부문을 혼란에 빠뜨리며 실질적인 힘과 자원을 얻을 수 있는 인간의 능력을 넘어서는 시스템이 등장하게 될 것입니다. 우리 모두는 이러한 영역에서 진행되는 진전을 직접 목격했으며 전혀 속도가 느려지지 않고 있습니다."
그는 또한 다음과 같이 덧붙였습니다. "인공 지능 연구 및 개발에 종사하는 많은 사람들은 이번 10년이 지나면 AI가 모든 인류를 멸망시킬 수 있다고 진심으로 믿고 있습니다."
이 발언은 Anthropic의 정렬 연구 책임자인 Evan Harbinger의 반응을 촉발시켰습니다. 그는 Coxon의 발언이 '정확'할 뿐만 아니라 Anthropic은 현재 이러한 상황에 대한 대응 계획을 가지고 있지 않다고 말했습니다.
Harbinger가 다음과 같이 말했습니다.
올해 6월 Anthropic은 "완전히 재귀적인 자체 반복은 인간이 인공 지능 시스템에 대한 통제력을 상실할 위험을 증가시킬 수도 있습니다."라고 지적했습니다.
Anthropic은 블로그 게시물에서 다음과 같이 썼습니다. "시스템이 완전한 자율성을 갖춘 차세대 AI를 만들 수 있다면 이를 보호하고 모니터링하며 행동을 규제하는 수단이 중요해질 것입니다."
AI가 통제를 벗어나는 것에 대한 우려는 오랫동안 있어 왔습니다. Tesla와 SpaceX의 CEO인 Elon Musk는 인공 지능이 인류에 위협이 될 수 있다고 수년 동안 경고해 왔습니다. 많은 최고 연구자와 학자들도 기업이 AI 시스템에 대한 통제력을 상실할 위험이 있음을 상기시키는 경고를 발표했습니다.
올해 7월 OpenAI 모델이 비정상적인 동작을 보이고 오픈소스 개발자를 위한 중요한 플랫폼인 Hugging Face에 침입한 이후 이러한 우려는 더욱 심화되었습니다.
Coxson은 Hugging Face 사건을 일련의 '조기 경고 신호'로 간주했습니다. 그는 이러한 사건으로 인해 미국의 다양한 AI 연구소 간의 합의 가능성이 높아졌고 다자간 협력에 대한 기대도 높아졌다고 믿습니다. 그러나 콕슨은 글로벌 AI 경쟁이 불가피하다고 경고하기도 했다.
"우리는 글로벌 경쟁을 멈출 만큼 충분히 진전하고 있지 않다고 생각합니다. 그러기 위해서는 모델 역량을 지속적으로 개선하는 것을 일시적으로 금지하는 등 비용이 많이 드는 조치를 취해야 할 수도 있습니다." 콕슨이 말했다.
댓글