Business Insider에 따르면 Anthropic CEO Dario Amodei는 자신의 AI 제품에 발생할 수 있는 위험에 대해 자주 경고하는 것으로 잘 알려져 있지만 이로 인해 회사에도 비용이 발생했습니다.이번 달 발표된 기사에서 Amodei는 AI의 힘이 "의심할 여지가 없게 됐다"고 경고했습니다.. 예를 들어 그는 Anthropic의 최신 모델인 Mythos가 사이버 보안, 금융 산업, 중요 인프라 및 국가 안보에 "매우 실제적인 위험"을 초래한다고 언급했습니다.
아모데이
그런 다음 그는 미국 정부에 이러한 위험에 대처하기 위해 더 강력한 개입 조치를 취할 것을 촉구했습니다. 그러나 금요일, 그의 경고는 역효과를 낳는 것처럼 보였습니다. 미국 정부가 갑자기 Anthropic의 최신 모델에 대한 수출 통제를 실시했습니다.
Anthropic은 Trump 행정부가 외국 사용자의 모델 액세스를 차단하라고 명령한 후 Mythos 5 및 Fable 5에 대한 액세스를 차단했다고 밝혔습니다. 미 국방부의 최고정보책임자(CIO)는 X 플랫폼에 게시한 게시물에서 "수익 주기, 과대 광고, IPO 전 가치 평가보다 더 중요한 것들이 있다"며 이러한 움직임에 대한 지지를 표명했습니다.
이러한 갑작스러운 발전은 전체 기술 산업을 패닉에 빠뜨렸습니다. AI 연구자이자 회의론자로 잘 알려진 게리 마커스(Gary Marcus)는 트럼프 행정부의 조치를 “지독한 과잉 반응이자 역효과”라고 불렀습니다.
Yang Likun은 Amodei가 그 결과를 거두고 있다고 말했습니다.
그러나 'AI 대부' 얀 르컨은 아모데이에게 책임을 돌렸다. Yang Likun은 "Amodei는 신화/우화 모델(및 전체 AI 분야)에 대해 터무니없는 경고를 퍼뜨렸고 이제 마침내 성과를 거두었습니다"라고 Yang Likun은 말했습니다. "뿌린 대로 거둘 것입니다."
AI 위험에 대한 긴 경고
아모데이는 오랫동안 AI 업계에서 자신을 '제정신의 어른'으로 표현하려고 노력해왔다.OpenAI의 핵심 연구원이었던 그는 회사를 떠나 OpenAI CEO인 Sam Altman이 제품의 안전보다 제품 출시 속도를 우선시한다는 우려로 Anthropic을 설립했습니다.
이후 그는 자신과 오픈AI, 구글, 메타, 아마존 등 여러 기업이 개발해 대중에게 공개하는 것들이 인류가 익숙한 삶의 방식을 근본적으로 바꿀 수도 있다는 일련의 성명을 발표했다. 이 영향은 긍정적일 수도 있고 부정적일 수도 있습니다.
Amodei는 AI가 신입 사무직 일자리의 절반을 없애고 실업률을 코로나19 팬데믹 이후 볼 수 없는 수준으로 치솟게 할 수 있으며 심지어 2008년 글로벌 금융 위기(대불황)의 실업 충격을 재현할 수도 있다고 경고했습니다.
Amodei는 최근 몇 주 동안 Anthropic이 상장을 준비하면서 AI가 직업에 미치는 영향에 대해 누그러졌지만, 그와 Anthropic은 다른 보안 위험에 대한 경고를 아끼지 않았습니다.
그는 6월에 발표된 기사에서 “Mythos 수준 모델로 인해 발생하는 사이버 보안 위험은 우리가 직면해야 하는 마지막 위험이 아닐 것입니다.”라고 말했습니다. “생물보안 위험이 곧 뒤따를 수 있고 더 심각한 AI 자율성 위험도 멀지 않을 것이라고 생각합니다.”
그는 또한 AI에 대한 국회의원들의 현재 관심과 인식 수준이 AI 기술의 급속한 발전을 더 이상 따라갈 수 없다고 말했습니다.
이달 초 Anthropic은 논문을 통해 최신 모델이 자기 개선에 가까워지고 있어 "인간이 AI 시스템에 대한 통제력을 상실할 위험이 높아질 수 있다"고 경고하면서 최첨단 AI 모델 개발에 대한 유예를 촉구했습니다.
"우리는 사회 구조와 정렬 연구가 기술 발전을 따라갈 수 있도록 세계가 최첨단 AI의 개발을 늦추거나 일시적으로 중단하기로 선택할 수 있다면 좋은 일이 될 것이라고 믿습니다." 인류는 말했다.
아이러니하게도 지난 금요일 드디어 이 '일시정지 버튼'이 눌렸는데, 그 대상은 인류 그 자체가 됐다.