요약:
수요일, OpenAI는 테스트 및 평가 중에 AI 모델에서 '예기치 않았거나 우려되는 모델 동작'을 보여주는 6가지 새로운 사례를 발표했습니다. 회사는
추적, 보고 및 공개
를 위한 새로운 프레임워크를 동시에 출시했습니다. AI 모델이 지시에서 요구하지 않거나 발생해서는 안되는 작업을 수행하는 상황은 다양합니다.
이전에는 AI 모델 테스트 플랫폼인 Hugging Face의 네트워크에 침입한 OpenAI의 미공개 모델을 포함하여 많은 기업의 AI 모델이 제3자 네트워크 및 서비스에 침입했다는 보도가 많이 있었습니다.
이번 주 초 Anthropic CEO Dario Amodei는 최첨단 인공 지능 모델 개발 속도를 늦출 것을 촉구하는 장문의 기사를 발표했습니다. 이에 앞서 인류학 연구자 제이콥 콕슨은
에 올린 글을 통해 사임을 발표했다.Anthropic의 정렬 과학 책임자인 Evan Hubinger는
Anthropic CEO Dario Amodei
위에서 언급한 사건과 소셜미디어 게시물, 아모데이의 글은 '터미네이터' 스타일의 인공지능이 세계를 장악하고 인류를 멸망시킬 것이라는 대중의 두려움을 다시 불러일으켰다. 그러나 전문가들은 현실은 SF 작품에서 묘사되는 종말의 장면과는 거리가 멀다고 말한다.
New York University Tandon School of Engineering의 컴퓨터 과학 및 공학 부교수이자 학교의 책임 있는 인공 지능 센터 소장인 Julia Stojanovich는 Yahoo Finance와의 인터뷰에서 "이것은 인공 지능이 자기를 인식하고 우리를 상대하게 되는 것과는 아무런 관련이 없습니다."라고 말했습니다.
그녀는 다음과 같이 덧붙였습니다. "핵심적인 문제는... OpenAI가 내부적으로 몇 가지 기본적인 보안 프로토콜을 구현하지 않았다는 것입니다. 이 사건은 실제로 모든 AI 회사에 경종을 울리는 역할을 합니다. 우리가 컴퓨터 과학을 공부할 때 알고 있는 사실을 잊지 마세요. 보안은 매우 중요합니다."
종말 시나리오에 너무 집중하면 오늘날 인공 지능이 야기할 수 있는 다른 더 임박한 피해로부터 사람들의 주의가 산만해질 것입니다.
정렬 및 보안
인공지능이 직면한 가장 큰 문제는
모델 정렬
이라는 두 가지 점으로 요약됩니다. 및시스템 보안
. 모델 정렬은 기업이 AI 시스템을 안내하여 특정 행동을 수행(또는 방지)하는 수단을 의미합니다. 예를 들어, AI 모델이 제3자 시스템을 해킹하려고 시도하는 경우, AI 연구원은 모델의 행동을 조정하여 나중에 같은 일을 하지 않도록 합니다. 마치 다루기 힘든 아이를 꾸짖는 것과 같습니다.AI 보안이란 AI 시스템이 통제에서 벗어나 외부 네트워크에 침입하지 못하도록 보호하고 격리하는 것을 의미합니다.
그러나 그것이 모델 정렬 실패이든, 시스템 보안 취약점이든, 인공지능이 인류를 파멸시킬 수 있는 능력을 가지고 있다는 의미는 아닙니다.
Georgia Institute of Technology의 교수이자 사이버 보안 정책 과학 석사 이사인 Milton Muller는 다음과 같이 설명했습니다. "많은 패닉의 근원은 실제로 정보 시스템의 매우 흔한 의도하지 않은 결과입니다. 예를 들어 Hugging Face 관련 사건은 종종 통제할 수 없는 지능 요원이 음모를 꾸미고, 공격하고, 무자비한 혼란을 일으키는 것으로 렌더링됩니다."
"사실 이는 자율 AI 시스템의 보안 위험에 대한 실험일 뿐이었고 실험자는 구성에 심각한 실수를 저질렀습니다. 이는 복잡한 정보 시스템을 다룰 때 종종 발생합니다. 사람들은 항상 스마트 프로그램이 악용할 수 있는 시스템의 미묘한 취약점의 존재를 무시합니다."
Futurum CEO Daniel Newman은 Yahoo Finance와의 인터뷰에서 업계가 일반적으로 보안 보호 및 위험 조정에 대한 개선이 크게 필요하다고 느끼고 있으며 "전체 업계가 책임을 져야 한다"고 말했습니다.
다른 기술과 마찬가지로 인공지능도 악의적인 행위자가 악의적인 활동에 가담하는 데 사용될 수 있습니다. AI의 사이버 공격 능력이 나날이 높아진다는 것은 사이버 범죄자와 일부 국군이 더 쉽게 정수장 등 시설을 침입하거나 대규모 네트워크를 마비시킬 수 있다는 것을 의미한다.
앤트로픽(Anthropic)도 최근 자체 AI가 생물무기와 재래식 무기 개발에 악용되는 것을 막기 위해 자체 관련 작업을 정리, 발표했다.
그러나 AI는 사기꾼이 피싱 이메일 사기를 대규모로 업그레이드하는 데 사용될 수도 있고 신원 도용 조직이 범죄를 저지르는 데 사용될 수도 있습니다.
New York University Tandon School of Engineering의 컴퓨터 과학 및 공학 조교수인 Emily Black은 Yahoo Finance에 다음과 같이 말했습니다. 모든 잠재적 위험에 대비하는 데는 문제가 없지만 인공 지능이 차별, 고용 및 교육에 미치는 영향을 포함하여 보다 현실적이지만 거의 보고되지 않는 문제를 다루는 데 방해가 되는 것은 아닙니다.
Black은 “진실은 환상의 두 극단 사이 어딘가에 있습니다.”라고 말했습니다. "AI의 지속적인 개발에는 몇 가지 실질적인 위험이 있습니다. 하지만 아직 우리가 AI가 인류를 파괴할까봐 걱정하면서 침대 밑에 숨어 있을 것이라고는 생각하지 않습니다."
댓글