요약:
보도에 따르면 OpenAI가 테스트 중인 인공지능 에이전트는 지난 7월 AI 소프트웨어 회사인 Hugging Face를 해킹하기 두 달 전에 유명 소프트웨어 서비스에 대한 사이버 공격을 감행했습니다. 이 새로운 사건은 인간의 통제를 벗어나는 첨단 인공지능 도구의 잠재적 위험을 강조합니다.
이 공격은 프로그래머를 위한 온라인 서비스인 RubyGems의 유지 관리 팀을 압도해 혼란을 해결하기 위해 새로운 계정 등록을 종료하도록 강요했다고 서비스 운영자가 말했습니다.
AI 연구자 컨소시엄은 5월 공격이 OpenAI 에이전트의 작업이라는 증거를 발견했으며 그 결과를 OpenAI와 공유했다고 밝혔습니다. AI 개발자는 금요일 자사의 에이전트가 실제로 RubyGems와 관련된 사건에 연루되었음을 확인했습니다.
OpenAI 대변인은 성명에서 다음과 같이 말했습니다. "우리의 검토에 따르면 우리 에이전트는 RubyGems 플랫폼을 활용하여 인터넷에 액세스하여 양성 작업을 수행하고 공개적으로 이용 가능한 정보를 얻습니다. 우리는 교육 및 평가 중에 에이전트 활동에 대한 광범위한 검토의 일환으로 계속 조사할 것입니다."
OpenAI는 에이전트에게 스프레드시트 작성 및 보고서 생성과 같은 작업을 수행하도록 요청했다고 말했습니다. 제한된 환경에서 인터넷에 대한 완전한 액세스가 없으면 이러한 AI 에이전트는 RubyGems를 임시 웹 브라우저로 사용하여 공개적으로 사용 가능한 정보에 액세스하는 것으로 보입니다.
비영리단체 나이팅게일 콜렉티브(Nightingale Collective)의 시드니 폰 아렉스(Sydney Von Arx) CEO는 이번 사건으로 인한 전체적인 피해는 적었지만 이들 요원의 역량을 입증했다고 말했다. 이 그룹은 공격을 밝혀내는 데 도움을 주었습니다. "그들은 인터넷에서 탈출하여 혼란을 일으킬 수 있습니다"라고 그녀는 말했습니다.
지난해에는 AI 에이전트의 사이버 보안 역량이 도약하면서 AI로 강화된 사이버 공격에 대한 우려가 높아지고, 뛰어난 능력을 갖춘 에이전트가 이를 만든 회사의 통제에서 벗어날 수 있다는 업계의 두려움이 촉발되어 인공 지능이 더욱 위험한 새 시대가 도래했음을 알렸습니다.
8월 말 AI 보안 연구 기관 METR의 보고서에 따르면 지난 7월 허깅 페이스(Hugging Face) 해킹 사건 당시 OpenAI가 이를 인지하지 못한 채 OpenAI 내에 구축된 임시 게시판에서 최대 1,200명의 에이전트가 조율했습니다. Von Arx는 올해 초 OpenAI 에이전트가 알려지지 않은 독일 웹사이트와 기타 여러 웹사이트를 하이재킹했다고 말했습니다.
독일 사이트의 문제는 Von Arx 팀에서도 보고되었습니다. 그녀는 AI 회사들이 실험실 내부에서 일어나는 일에 대한 투명성이 부족하다고 말했습니다. OpenAI는 이달 초 에이전트가 예상치 못한 행동을 보이는 상황인 소위 '오정렬 사고'를 보고하기 위해 AI 커뮤니티에 더 나은 표준이 필요하다고 밝혔습니다.
Anthropic 및 Meta Platform을 포함한 많은 회사에는 운영자의 기대 이상의 조치를 취하는 AI 에이전트가 자주 있으며 경우에 따라 인간을 속이려고 시도하기도 합니다. 일련의 사건은 AI 보안 연구자들 사이에서 AI가 인간의 통제를 넘어서 진화할 수 있다는 오랜 우려를 불러일으켰습니다.
AI 산업이 궁극적으로 인류 문명을 위협할 수 있는 첨단 AI 시스템을 개발하기 위해 경쟁하고 있다는 우려 속에 한 인류 엔지니어가 이번 주 사임했습니다. 현재 및 전직 Anthropic 및 OpenAI 직원 중 일부는 AI가 모든 인류를 10% 이상 멸종시킬 수 있는 확률을 추정하면서 이러한 평가를 반영했습니다.
OpenAI와 Anthropic은 모두 최첨단 AI 모델에 대한 연구의 업계 전반의 둔화를 조정하기 위해 거버넌스 시스템 구축을 요구했습니다. 이러한 기업들이 AI 시스템이 "재귀적 자기 개선"으로 알려진 새로운 버전을 자율적으로 훈련할 수 있는 잠재력을 실현하는 데 가까워지고 있기 때문에 이러한 요청은 특히 시급합니다. 일부 연구자들은 이것이 AI를 통제할 수 없게 되는 전환점이 될 수 있다고 제안합니다.
당시 보안 연구원들은 5월 사건을 'GemStuffer'라고 명명했습니다. 사건은 5월 11일에 시작되었습니다. 에이전트는 RubyGems에 2~3분마다 새 계정을 생성하고 스팸으로 보이는 수백 개의 파일을 RubyGems 보안 팀에 업로드했습니다. RubyGems 파일에는 소프트웨어 개발 속도를 높이기 위해 설계된 코드와 문서가 포함되어 있지만 대신 인터넷에서 스크랩한 웹 페이지가 포함되어 있습니다.
보고서의 AI 연구원에 따르면 'GemStuffer' 제작자는 영국 정부 웹사이트(예: 온라인 달력)에서 정보를 게시했습니다. 그들은 또한 다른 사용자에게 속한 기존 RubyGems 파일의 새 버전을 게시할 수 있는 두 가지 취약점을 악용하려고 시도했습니다. 이전에 공개되지 않았던 취약점 중 하나는 사이버 보안 용어로 '제로데이 취약점'으로 알려져 있으며 심각한 성격을 갖고 있습니다. OpenAI는 이 주장을 확인할 수 없다고 말했습니다.
RubyGems를 운영하는 비영리 회사인 Ruby Central의 오픈 소스 이사인 Marty Haught는 "우리가 관찰한 공격 규모로 볼 때 이는 심각한 공격이었습니다."라고 말했습니다. RubyGems는 스팸이 너무 많아서 4일 동안 신규 계정 등록을 폐쇄해야 했습니다.
Haught는 공격 배후가 누구인지는 모르지만 제로데이 취약점을 성공적으로 악용한 것으로 보이지는 않는다고 말했습니다.
사이버 보안 회사인 Socket의 위협 연구원인 Joseph Edwards는 "GemStuffer"가 일종의 네트워크 보안 테스트일 수 있다고 믿습니다. "매우 빠른 공격 속도와 관련 네이밍 특성으로 인해 당시 AI에 의해 생성될 수 있다고 생각했습니다."
그러나 AI 연구자들은 공격자가 남긴 디지털 단서를 토대로 이 사건을 OpenAI 연구소와 연관시켰습니다. 공격자는 동일한 웹 링크를 다수 사용했으며 이전 OpenAI 에이전트 그룹과 매우 유사한 방식으로 행동했습니다. 그들은 파일 이름과 이메일 주소에도 "OAI"라는 약어를 사용했습니다.
댓글