월스트리트저널(WSJ)에 따르면, AI 스타트업 앤트로픽(Anthropic)은 현재 AI 시스템이 너무 빠르게 발전하고 있으며 머지않아 인간의 개입 없이 스스로 개선될 수 있어 큰 사회적 위험을 초래할 수 있다는 이유로 세계 최고의 AI 연구소에 연구 개발 속도를 늦추는 것을 고려할 것을 촉구했다. Anthropic은 목요일 블로그 게시물에서 글로벌 AI 개발 속도를 늦출 수 있다면 "아마도 좋은 일이 될 것"이라고 말했습니다. 이 기사는 또한 Anthropic의 내부 데이터를 공개하여 가장 진보된 AI 모델의 기능이 얼마나 빨리 향상되었는지 보여줍니다.
이 기사는 Anthropic의 내부 연구 및 정책 책임자가 작성했습니다. 그것은 말한다,모델 개발은 AI 시스템이 인간의 개입 없이 스스로를 개선할 수 있는 '재귀적 자기 개선' 방향으로 나아가고 있는 것으로 보입니다.AI 업계 일부에서는 이 기준치를 잠재적인 위험과 거대한 사회적 불안의 신호로 본다.
저자인 마리나 파바로(Marina Favaro)와 잭 클라크(Jack Clark)는 “세계가 최첨단 AI 개발을 늦추거나 일시적으로 중단하여 사회 구조와 정렬 연구가 기술 발전에 보조를 맞출 수 있다면 좋을 것이라고 믿습니다.”라고 썼습니다. 이 기사에서는 AI 개발이 어떻게 느려질 수 있는지에 대한 글로벌 합의와 경쟁업체가 합의를 준수하는지 확인하는 검증 메커니즘을 제안합니다.
기사에서는 반복적인 자기 개선이 아직 발생하지 않았으며 불가피한 것도 아니지만 "대부분의 조직이 준비한 것보다 더 빨리 도착할 수 있다"고 경고합니다.
인류의 블로그
Anthropic은 최근 회사 가치를 거의 1조 달러로 평가하는 자금 조달 라운드를 완료했으며 주식 공개 프로세스를 시작하기 위해 기밀 문서를 제출했습니다. 최근에는 오픈AI와의 AI 패권 경쟁에서 선두주자로 떠올랐다. 오픈AI도 조만간 IPO 관련 서류를 제출할 예정이다.
회사는 창립 때부터 AI 안전성을 강조해 왔지만, 자사의 정책 제안이 사실상 경쟁사의 AI 연구개발 진척을 늦추려는 시도라고 믿고 오랫동안 외부로부터 비판을 받아왔다. 벤처 투자가이자 트럼프 대통령의 비공식 고문인 데이비드 색스(David Sacks)는 앤트로픽(Anthropic)의 리더십이 경쟁사를 억압하기 위해 규제를 사용하는 “규제 포획 어젠다”를 추구한다고 비난했습니다.
최근 팟캐스트에서 Sacks는 워싱턴의 이러한 "규제 포착 의제"가 궁극적으로 소위 오픈 소스 모델에 대한 금지로 이어질 수 있다고 말했습니다. 이러한 모델은 일반적으로 기업과 기관이 자체적으로 배포하고 개발하기가 더 저렴하고 더 쉽습니다.
다른 사람들은 자체 도구의 위험한 잠재력에 대한 Anthropic의 경고가 마케팅 전략으로 보일 수도 있다고 믿습니다.이러한 회의론자들은 코드의 취약점과 문제를 찾아낼 수 있는 강력한 "Mythos" 사이버 보안 모델의 출시를 제한하기로 한 Anthropic의 결정을 자사 제품의 기능을 홍보하기 위한 영리한 판촉 전략으로 지적합니다.
이와 관련하여 Anthropic 경영진은 회사가 AI 보안 문제를 심각하게 받아들이고 관련 위험에 대한 더 많은 사회적 논의를 촉진하기 위해 노력하고 있다고 밝혔습니다.