요약:
AI 회사 Cohere의 CEO인 Gomez는 AI 모델이 역사상 '가장 강력한 사이버 무기'가 되어 네트워크 보안의 '최초'를 새로운 영역으로 확장하고 있다고 말했습니다. Aidan Gomez의 경고는 AI 모델이 보안 취약점을 식별하고 악용하는 능력에 대한 우려가 커지고 있는 가운데 나온 것입니다. 이전에 OpenAI 모델이 Hugging Face에 액세스한 사건이 있었습니다. 점점 더 강력한 모델이 더 큰 자율성을 입증함에 따라 사이버 보안은 광범위한 AI 안전 논쟁에서 핵심 문제가 되었습니다.
Cohere CEO Aidan Gomez
Anthropic CEO Dario Amodei가 이끄는 기술 리더들이 AI 기능 개발 속도를 늦출 것을 요구한 후 월요일 AI 관련 주식이 매도했습니다.
Gomez는 오늘날 주요 AI 모델의 토대를 마련한 영향력 있는 2017년 연구 논문 'Attention Is All You Need'의 공동 저자입니다.
지난 주 공개된 'The Tech Download' 에피소드에서 Gomez는 "이 모델은 우리가 본 것 중 가장 강력한 사이버 무기라고 생각합니다"라고 말했습니다. "그들은 대규모로 취약점을 찾고 활용하는 데 매우 능숙합니다."
고메즈는 Hugging Face 해킹에 대해 "매우 충격적이라고 생각합니다."라고 말했습니다.
지난 7월, OpenAI는 자사 모델의 부적절한 조합으로 인해 Hugging Face가 손상되었다고 밝혔습니다. 허깅페이스는 오픈소스 개발자 플랫폼을 운영하는 AI 기업이다. AI 에이전트 그룹은 인터넷 접속이 극도로 제한된 고립된 테스트 환경에서 서로 소통하며 탈출했다. 그런 다음 AI 에이전트는 개방형 네트워크에 연결하고 Hugging Face에 액세스하는 데 성공했습니다.
Gomez는 기업의 취약점을 찾아 해결하기 위해 이러한 모델을 '방어적인' 방식으로 사용해야 한다고 말했습니다.
"내 생각에는 이것이 아마도 우리를 안전하게 지키는 가장 좋은 방법일 것입니다."라고 Gomez는 말했습니다. 이어 “지금은 그것이 최우선 과제가 되어야 한다”고 덧붙였다.
Gomez는 네트워크 보안이 "전쟁의 최전선"이며 국가들이 취약점을 악용하여 경쟁사의 인프라를 마비시키려고 한다고 말했습니다. 그는 “사이버 국경은 여전히 엄청나게 확장되고 있다”고 덧붙였다.
"이러한 모델 덕분에 과거보다 더 많이 확장되고 있습니다."라고 Gomez는 말했습니다. 아마도 "이 기술이 시작된 이후 가장 확장된 것"일 것입니다.
AI 사이버 사고로 인해 보안 논쟁이 더욱 확대됨
7월에 Anthropic은 모델이 평가 환경 내에서 또는 상호 작용하는 동안 인터넷에 액세스한 세 건의 사건을 발견했다고 밝혔습니다. Anthropic은 블로그 게시물에서 해당 모델이 서로 다른 세 조직의 생산 인프라에 무단으로 액세스했다고 밝혔습니다.
Anthropic은 이번 사건에 Opus 4.7, Mythos 5, 내부 연구 테스트 모델 등 세 가지 Claude 모델이 관련되어 있다고 덧붙였습니다. 지난주 Anthropic은 네 번째 사건을 발견했다고 말했습니다.
OpenAI와 Anthropic 경영진이 AI로 인한 실존적 위험을 경고하면서 우려가 더욱 가중되었습니다. Anthropic의 정렬 책임자인 Evan Hubinger는 AI가 향후 10년 내에 "모든 인간을 죽일" 확률이 10% 이상이라고 믿습니다. 이러한 발언은 Anthropic 연구원인 Jacob Coxon이 Anthropic과 OpenAI가 "우리 목숨을 걸고 도박을 했다"는 우려 때문에 사임한다고 게시한 후에 나온 것입니다.
Anthropic, OpenAI 및 xAI의 수장은 모두 AI 속도를 늦추기 위한 지원 요청을 가지고 있습니다. AI가 제기하는 실존적 위험은 연구계에서 수년 동안 논의되어 왔지만, AI의 주요 인물 중 일부가 드물게 합의하여 이러한 논쟁을 주류로 끌어 올렸습니다.
Anthropic CEO인 Dario Amodei는 토요일에 AI 연구소가 "AI 모델의 기능을 개선하는 속도를 늦춰야 한다"고 주장하는 기사를 게재했습니다.
Amodei의 핵심 우려 사항 중 하나는 OpenAI-Hugging Face 사건입니다.
아모데이는 "이번 사건은 인명피해가 없었고 경제적 피해도 미미했기 때문에 경시하기 쉽다"고 말했다. "하지만 더 큰 기능을 갖춘 유사하게 잘못 정렬된 클러스터가 치명적인 피해를 입힐 수 있었던 것 같습니다."
AI 개발의 '가속화 속도'를 고려할 때 이러한 클러스터는 6~12개월 내에 '전체 인터넷을 장악'할 수 있는 능력을 갖추고 잠재적으로 수천억 달러의 비용이 소요될 수 있다고 덧붙였습니다.
Amodeei의 제안에는 모델에 대한 제3자 평가, AI 기업 간의 조정, 민주 정부와 국가 간의 조정이 포함됩니다.
OpenAI CEO 샘 알트만(Sam Altman)은 토요일 AI 기업이 "최첨단 속도를 제어"해야 한다는 Amodei의 의견에 동의했다고 말했습니다.
"독립 평가자에게 직원과 같은 액세스 권한을 부여하는 것은 좋은 생각이며 우리도 그렇게 할 것입니다."라고 Altman은 말했습니다.
SpaceX와 AI가 제기하는 위험에 대해 수년간 경종을 울려온 Tesla의 Elon Musk는 X에 "Dario가 옳습니다."라는 글을 게시했습니다.
Centre for Humane Technology의 Harris: Hugging Face AI 공격이 전 세계에 '경고 신호'를 보냅니다. 지금 보기
월요일, 사이버 보안 회사 CrowdStrike의 CEO인 George Kurtz가 Amodei의 기사에 답변했습니다.
"개척지는 자신의 속도로 움직일 것입니다. 나머지 세계도 속도를 늦추지 않을 것입니다. 사이버 보안 커뮤니티에서 우리의 임무는 그것이 안전하게 전진하도록 하는 것입니다."라고 그는 AI가 사이버 보안 산업에 영향을 미칠 다양한 방식을 나열하면서 말했습니다.
Kurtz는 "위협의 단위는 더 이상 해커가 아닙니다."라고 말했습니다.
CrowdStrike CEO는 또한 조직에서 일하는 AI 에이전트는 '꺼짐 스위치'를 가져야 하며 방어는 '자율적'이어야 하며 '효과가 큰 결정은 인간의 손에 맡겨야' 한다고 말했습니다.
규제 논의가 뜨거워지고 있습니다
미국 국회의원들은 Coxon과 Hubinger의 발언을 계기로 AI 개발에 대한 규제를 강화해야 한다는 요구를 강화했습니다.
대표 매사추세츠주 로리 트라한(Lori Trahan) 의원은 금요일 초당적 지지가 한계점에 도달했다고 말했습니다.
지난 몇 주 동안 국회의원들은 AI 킬스위치법(AI Kill Switch Act)을 포함해 AI 규제를 목표로 하는 여러 법안을 발의했습니다. 이 법안은 특정 강력한 AI 시스템의 개발자가 모델을 종료, 제한 또는 일시 중지하는 기능을 유지하도록 요구합니다.
Amodei는 기사에서 감독이 "AI 개발 속도를 제어하는 가장 효과적인 방법"이라고 말했습니다.
Amodei는 다음과 같이 말했습니다. "Anthropic은 오랫동안 합리적이고 표적화된 AI 규제, 특히 투명성과 제3자 감사에 초점을 맞춘 법안을 지지해 왔습니다." 그러나 그는 “법안 통과에는 시간이 걸릴 수 있다”는 점을 인정했다.
Cohere CEO Gomez는 특히 OpenAI-Hugging Face 사건에 대응하여 AI 개발의 규제 및 둔화에 대한 'The Tech Download' 토론에 참여했습니다.
고메즈는 허깅 페이스 해킹을 막기 위해 "정부 감시 기관이 무엇을 할 수 있었는지 확신할 수 없다"고 말했습니다.
"정부 기관이 기여할 수 있었다고 생각하는 것은 약간 희망적인 생각이라고 생각합니다"라고 Gomez는 말했습니다. "하지만 저는 확실히... 개발 속도를 늦추라는 요청을 이해합니다. 동시에 중국과의 경쟁이 있기 때문에 우리는 어려운 상황에 처해 있다고 생각합니다."
댓글