요약:
Anthropic CEO인 Dario Amodei는 인공지능 산업이 새로운 모델의 개발을 늦추어야 한다고 말하면서 인공지능이 인간에게 '심각한' 위험을 초래할 것이라는 우려가 커지고 있다고 언급했습니다. 그는 토요일 블로그 게시물에서 "우리는 AI 모델의 기능을 향상시키는 속도를 늦춰야 합니다"라고 썼습니다. "진행은 여전히 빠른 것으로 보입니다. 우리는 얻은 시간을 현명하게 사용해야 합니다."
그는 두 가지 주요 요인, 즉 인공 지능의 자체 개선 능력과 OpenAI 및 Hugging Face와 관련된 최근 사건을 언급했습니다. 이번 사건에서는 AI 에이전트 그룹이 서로 협력하여 제3자 웹사이트를 침해했습니다.
그는 "속도를 조절한다는 것이 모델 훈련이나 기술 발전을 중단하는 것을 의미하는 것이 아니라, 기업이 모델을 조정하고 안전 조치를 취하는 데 충분한 시간을 투자하는 동시에 제3자 평가자가 이를 확인할 수 있도록 하는 것을 의미한다는 점을 분명히 해야 합니다."
인공지능이 제기하는 심각한 위험에 대한 우려가 주류로 떠오르기 시작했습니다. 부분적으로는 인공지능의 실존적 위험을 걱정하고 회사가 무책임한 관행을 채택했다고 믿었던 인류학 연구자가 이번 주에 세간의 이목을 끄는 사임으로 인해 발생했습니다.
Dario Amodei
Amodei가 기사를 게시한 직후 그는 xAI Corp.의 경영권을 잡았습니다. Elon Musk는 "Dario가 옳습니다"라고 썼습니다.
OpenAI CEO 샘 알트먼(Sam Altman)도 “최첨단 모델 개발 속도를 조절해야 한다”는 아모데이의 발언에 동의한다고 재빠르게 자신의 의견을 피력했다.
"독립 평가자에게 직원과 같은 액세스 권한을 부여하는 것은 좋은 아이디어이며 우리도 그렇게 할 것입니다."라고 그는 X에 게시했습니다. "우리는 곧 더 많은 정보를 공유할 것입니다."
인공지능 붐이 일어나는 동안 주요 인공지능 연구소의 경영진은 인류에 대한 실존적 위험이 발생할 수 있다고 경고해 왔습니다. 이 주장은 때때로 자사의 제품 능력을 홍보하고 기술 관리에 가장 적합한 것으로 묘사하려는 시도로 일축됩니다. Amodei 자신은 이전에 상황이 "매우, 매우 나쁘게" 진행될 확률이 25%라고 말했습니다.
Anthropic은 오랫동안 기술의 잠재적 위험을 완화하고 사회적 이익을 극대화하기 위해 책임감 있고 안전한 방식으로 인공 지능을 개발하는 데 더 중점을 두는 회사로 자리매김해 왔습니다. 올해 초 회사는 Mythos 모델이 특별한 사이버 보안 위협을 가한다고 판단한 후 Mythos 모델의 출시를 제한하기 위해 노력했습니다. Anthropic은 또한 이전에 이 기술의 개발을 늦추어야 하는 시기를 공동으로 결정하기 위한 메커니즘을 세계가 확립해야 한다고 언급한 바 있습니다.
동시에 Anthropic은 오랜 경쟁사인 OpenAI와 치열한 경쟁을 벌이고 있습니다. 두 회사 모두 기업 사용자가 더욱 복잡하고 가치 있는 작업을 자동화할 수 있도록 점점 더 정교한 모델을 개발하고 있습니다. 두 회사 모두 상장을 위해 기밀 서류를 제출했으며, Anthropic은 이르면 올해 초 월스트리트에 진출할 것으로 예상됩니다.
Hugging Face 보안 사건이 밝혀진 직후 Anthropic은 자사 모델이 사이버 보안 테스트 중에 세 조직을 손상시켰다고 공개하여 AI 연구소의 기술 통제 능력에 대한 우려를 더욱 촉발시켰습니다. 이번 주 초, Anthropic은 네 번째 침입을 발견했다고 말했습니다.
Hugging Face를 포함한 에이전트 침입 중 지금까지 심각한 손실을 초래한 사례는 없지만 Amodei는 "6~12개월 내에 이러한 에이전트 클러스터가 지속적인 봇넷을 통해 전체 인터넷을 장악할 수 있는 능력을 갖추게 될 수 있으며(수천억 달러의 손실을 초래할 수 있음) 이후 피해 규모는 계속 확대될 것"이라고 우려했습니다.
Anthropic은 제3자 평가자에게 안전 조치를 확인하고 사고를 보고할 수 있는 완전한 액세스 권한을 제공하기 위해 최선을 다할 것이라고 Amodei는 썼습니다. Anthropic은 곧 이러한 평가자를 현장에 파견하여 그들에게 책상, 배지, 회사 노트북 및 "내부 위험 평가 팀에 대한 일반적으로 동등한 액세스"를 제공할 것이라고 말했습니다.
추가 조치를 취하려면 업계 전반의 조정과 글로벌 협력이 필요할 것이라고 그는 말했습니다.
"저는 인공지능이 인간 삶의 질을 크게 향상시킬 수 있다고 계속 믿습니다. 이러한 이점을 실현하려는 열망은 줄어들지 않았습니다."라고 그는 썼습니다. "그러나 이러한 이점은 기술이 올바른 방식으로 개발된 경우에만 얻을 수 있습니다. 구매하는 시간을 잘 활용하는 한, 올바른 기술을 확보하기 위해 특별한 주의를 기울일 가치가 있습니다."
우려가 커지고 있습니다
이번 주 초 Altman은 회사가 최첨단 인공 지능의 개발 속도를 늦추는 것을 고려하고 있으며 이상적으로는 업계 전체와 조율된 조치를 취할 것이라고 말했습니다.
이 회사의 수석 과학자인 Jakub Pachocki는 이전에 인공 지능의 위험성을 경고하는 기사를 발표했으며 기업이 "필요한 경우 향후 개발 속도를 늦추도록 조정"해야 한다고 말했습니다.
인공 지능 연구원인 제이콥 콕슨(Jacob Coxon)은 화요일 자신의 전 고용주인 Anthropic과 OpenAI가 초지능 AI 개발 경쟁에서 "우리의 생명을 걸었다"고 비난하면서 사임했습니다. Coxon은 소셜 미디어 게시물에서 AI 개발자들이 이 기술이 "금년이 끝나기 전에 우리 모두를 죽일 수 있다"고 믿고 있다고 말했습니다.
이와 관련하여 현재 Anthropic에서 일하고 있는 Evan Hubinger는 자신과 회사의 다른 사람들이 실제로 이러한 시나리오에 대해 우려하고 있다고 말했습니다. "저는 개인적으로 향후 10년 내에 이런 일이 일어날 확률이 10% 이상이라고 믿습니다." 그는 X에 글을 썼습니다.
샘 알트만
이르면 7월 초, 1,000명이 넘는 최고의 인공 지능 기업 직원들이 기술이 너무 빨리 발전하는 것을 방지하기 위해 인공 지능 개발 속도를 '의식적으로 제어'하는 데 도움이 되는 메커니즘 설립을 지원해 줄 것을 미국 정부에 요청하는 청원서에 서명했습니다.
AI 모델은 해킹 공격을 자율적으로 수행하는 능력이 점점 더 커지고 있습니다. Anthropic, OpenAI 및 Meta는 최근 몇 달 동안 그들의 모델이 테스트 환경을 침해하고 개방형 인터넷에 액세스했으며 테스트 중에 실제 피해자를 손상시켰다는 사실을 공개했습니다.
Amodei는 기사에서 조정된 전략을 통해 미국 인공지능 업계의 선두 기업이 경쟁 우위를 희생하지 않고 필요한 보안 작업을 완료할 수 있을 것이라고 썼습니다. 그는 기업들이 특정 분야에서 협력할 수 있도록 하려면 미국의 특정 독점금지 면제가 필요할 것이라고 말했습니다.
그러나 지금까지 트럼프 행정부는 규제를 강화하고 AI 개발에 가드레일을 두는 데 거의 관심을 보이지 않았습니다.
댓글