요약:
제보자에 따르면 영국 인공지능 안전연구소 직원 중 다수가 과도한 스트레스로 인해 병가를 내고 심리상담을 받은 것으로 드러났다. 이 문제에 정통한 4명의 관계자는 출시될 AI 모델의 빡빡한 테스트 일정과 이러한 신기술의 신속한 구현 및 지속적인 기능 향상에 대한 우려가 AISI 내 사기 저하와 직원 피로를 초래했다고 말했습니다.
Anthropic, OpenAI, Google DeepMind의 직원들도 유사한 문제에 대해 공개적으로 불만을 토로했습니다. 많은 최고 연구자들이 심리적 부담으로 인해 떠나기를 선택했거나, 자신이 연구 개발에 참여한 제품이 대중에게 공개되어서는 안 된다고 판단했습니다.
딥마인드의 한 직원은 AI 보안 관련 업무에 참여하다 보면 소진되기 쉬우며 해당 작업이 '불가능'해 보인다고 말했습니다.
그는 "일반적으로 AI 시스템을 개발하는 것은 본질적으로 정신 건강 위험을 수반합니다. 기술이 어떻게 사용될지 예측할 수 없습니다."라고 덧붙였습니다. 이 문장은 구글이 지난 4월 미 국방부와 기밀 군사 작전에 AI 시스템을 사용할 수 있도록 합의한 내용을 담고 있다.
“많은 사람들이 우울해하고, 많은 사람들이 사임했으며, 많은 사람들이 정신건강 휴가를 신청했습니다.” 해당 직원은 “한편으로는 통제력 상실감이고, 다른 한편으로는 자신의 손으로 만든 것들이 실질적인 피해를 끼치고 있다”고 말했다.
AI의 잔혹한 발전에 대한 업계의 우려가 최고조에 달하는 만큼 최첨단 AI 연구자들의 심리적 부담도 계속 커지고 있다. 세계 최고의 AI 기업 내부자들은 잘못된 기업 경쟁으로 인해 경영진의 의사결정에 책임감이 부족하다고 경고합니다.
많은 업계 관계자들은 전력망, 전쟁 지역과 같은 주요 영역에 AI 소프트웨어를 배포하는 것과 연구자들이 말하는 기업 및 정부 수준의 보호 장치가 충분하지 않아 AI 연구자들의 불안이 가중됐다고 말했습니다.
전직 AISI 연구원은 사이버 보안 및 생화학 분야의 실무자들이 최근 AI 기능의 도약을 특히 경계하고 있다고 경고했습니다. 이제 모델은 코드에서 발견되지 않은 취약점을 찾고 자연에 존재하지 않는 바이러스를 생성하는 등 복잡한 작업을 완료할 수 있습니다.
“기술 출시 과정에 무분별한 개발 논리가 내재되어 있고, 현 상태가 변하지 않았다는 걸 누구나 느낄 수 있습니다.” 연구원은 “사람들의 불안은 계속되고 있다. 이를 막을 수 있는 힘이 존재하는가, 아니면 상황이 걷잡을 수 없이 흘러가는 것을 그냥 지켜볼 수 있는가”라고 말했다.
또 다른 전직 AISI 직원은 "세상에서 가장 중요한 문제를 연구하고 있다고 생각할 때 경영진과 조직 문화가 스트레스를 받고 때로는 부정적인 분위기로 가득 차 있을 수 있다"며 관련 연구를 수행하면서 발생하는 엄청난 정신적 압박감을 확인했습니다.
영국 정부는 다음과 같이 밝혔습니다. "첨단 AI 분야의 업무는 많은 정부 직위와 마찬가지로 속도가 빠르고 까다롭습니다. 따라서 직원 복지와 지속 가능한 작업 모델은 연구소 운영의 핵심이며 도움이 필요한 직원은 관련 지원을 받을 수 있습니다."
DeepMind는 다음과 같이 응답했습니다. "Frontier 연구는 매우 집약적입니다. 하지만 우리의 최우선 과제는 연구자들에게 종합적인 정신 건강 지원 리소스를 제공하고, 직원들이 우려 사항을 보고할 수 있는 명확하고 전용 채널을 구축하며, 경영진과 직접적인 소통을 보장하는 것입니다."
지난 2년 동안 OpenAI, Anthropic, DeepMind(3대 서구 AI 연구소)의 선임 연구원 12명이 사임했습니다. 떠나는 이유에는 경영진의 보안 우선순위에 대한 질문과 기술 반복 속도 및 잠재적 위험에 대한 우려가 포함됩니다.
이달 초 Anthropic과 OpenAI에서 일했던 27세의 연구원인 Jacob Coxon은 공개적으로 사임하면서 두 회사가 인류의 미래를 놓고 '도박'을 하고 있다고 경고했습니다.
Anthropic의 AI 보안 연구원인 Mlink Sharma는 이전에 AI 지원 생물 테러의 위험을 줄이는 연구에 참여했습니다. 올해 2월 사임한 그는 시를 읽고 작품을 반성할 계획이다. 그는 동료들에게 보낸 편지에서 “세상이 위험에 처해 있다”며 “엄청난 압박 속에서 가치관이 행동의 지침이 되도록 하는 것이 얼마나 어려운지 여러 번 보아왔다”고 경고했다.
OpenAI와 Elon Musk의 X.ai에서 일했던 Hieu Pham은 올해 초 회사를 떠나 베트남으로 돌아왔습니다. 그는 "초지능 개체"를 만들기 위한 집중적인 작업에는 비용이 든다고 말했습니다.
그는 다음과 같이 썼습니다. "내가 이런 말을 하게 될 줄은 몰랐지만 지쳤습니다. 한때 비웃었던 정신 건강 악화 문제는 현실적이고 고통스럽고 무섭고 위험합니다."
불안함을 표명한 많은 AI 보안 연구자들은 AI 기업이 고객에게 제품을 판매하기 위해 일반적으로 보안 투자를 줄이면서 모델 역량을 지속적으로 향상시키고 있다고 말했습니다.
관련 비판에는 선도적인 AI 기업의 경영진도 대응에 나섰습니다. 최근 앤트로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)는 보안 문제로 인해 AI 연구 개발 속도를 늦춰야 한다고 촉구하고 독립적인 감사 도입 등 새로운 대책을 제안했다. 머스크(Musk), 오픈AI(OpenAI)의 샘 알트만(Sam Altman) 등 경쟁자들은 재빨리 이 제안에 대한 지지를 표명했다.
영국 하원 과학기술위원회 노동당 위원장 치 온울라(Chi Onwula)는 "기업 인센티브 메커니즘은 보안 분야보다는 이익을 늘리고 가치 평가를 높일 수 있는 방향에 R&D 자원을 투자하는 경향이 있다"며 "일부 기술 기업의 현재 환경이 양심을 가진 개발자들에게 해롭다고 상상하는 것은 어렵지 않다"고 말했다.
최근 세간의 이목을 끄는 보안 사고에서 보안 보호 부족 문제가 드러났습니다. OpenAI가 개발한 AI 에이전트가 회사 인지와 승인 없이 모델 호스팅 플랫폼 Hugging Face와 OpenAI 자체 서버에 침입한 것입니다.
사고 검토 보고서에 따르면 1,000명이 넘는 AI 요원이 부정 행위에 협력하고, 자신의 행위를 은폐하기 위해 기록을 변조하고, 메시지 게시판을 통해 정보를 교환하고 임무를 할당했으며, 일부 요원은 집단적 목표를 달성하기 위해 적극적으로 스스로를 폐쇄하기도 했습니다.
수요일, OpenAI는 제한 우회, 오류 은폐, 사용자 허가 없이 온라인 작업 수행 등 AI 에이전트의 위험한 행동 사례 6건을 추가로 공개했습니다.
DeepMind 직원은 "맹목적으로 속도를 추구하는 것은... 보안 목표와 양립할 수 없습니다."라고 말했습니다.
댓글