학술 논문 조작부터 예술가 표절까지, 생성 AI에는 잘 문서화된 실수가 상당히 많습니다. 이제 국가 영향력 작전에서 다시 등장하는 것 같습니다. 매사추세츠에 본사를 둔 위협 정보 회사인 RecordedFuture의 새로운 보고서에 따르면, 최신 캠페인은 인기 스타트업 ElevenLabs가 공개적으로 출시한 기술을 포함하여 상업용 인공 지능 음성 생성 제품의 도움을 받을 가능성이 "가능성이 높습니다".
보고서는 우크라이나에 대한 유럽의 지원을 약화시키기 위한 러시아와 연계된 캠페인에 대해 설명하고 있는데, 이는 허위이거나 오해를 불러일으키는 '뉴스' 동영상에서 인공지능으로 생성된 음성 해설을 눈에 띄게 사용하는 '암살 작전'이라고 합니다.
해당 동영상은 유럽 시청자를 대상으로 했으며, 무엇보다도 우크라이나 정치인의 부패를 공격하거나 우크라이나에 대한 군사 지원의 유용성에 대해 의문을 제기하는 내용을 담고 있습니다.
보고서는 비디오 제작자가 ElevenLabs의 기술을 포함하여 음성 생성 인공 지능을 사용하여 콘텐츠를 보다 합법적으로 보이도록 만들었을 가능성이 "매우 높다"고 밝혔습니다. 이를 테스트하기 위해 RecordedFuture의 연구원들은 클립을 ElevenLabs의 자체 AI 음성 분류기에 제출했습니다. 이를 통해 누구나 "오디오 클립이 ElevenLabs로 생성되었는지 감지"하고 일치하는 항목을 얻을 수 있습니다.
ElevenLabs는 의견 요청에 응답하지 않았습니다. RecordedFuture는 여러 상용 AI 음성 생성 도구가 사용될 수 있다고 언급했지만 ElevenLabs 외에 다른 이름은 언급하지 않았습니다.
영향력 운동의 주모자들은 "확실한 러시아 악센트"가 포함된 실제 목소리가 포함된 수많은 비디오를 성급하게 공개하면서 인공 지능 음성 생성의 유용성을 의도치 않게 보여주었습니다. 반면 AI가 만든 더빙은 영어, 프랑스어, 독일어, 폴란드어 등 다양한 유럽 언어로 외국어 억양 없이 나왔다.
RecordedFuture에 따르면 AI를 사용하면 오해의 소지가 있는 스니펫을 영어, 독일어, 프랑스어, 폴란드어, 터키어(모두 ElevenLabs에서 지원) 등 유럽 전역의 여러 언어로 빠르게 게시할 수 있습니다.
RecordedFuture는 "진정한 유럽 언론 기관을 사칭한 다음 가짜 소셜 미디어 계정을 사용하여 이러한 스푸핑된 사이트의 오해의 소지가 있는 콘텐츠를 증폭시키는 60개 이상의 웹 사이트 네트워크"를 운영한 혐의로 지난 3월 미국 정부가 제재한 러시아 기반 조직인 SocialDesignAgency의 활동을 비난했습니다. 당시 국무부는 이 모든 것이 "러시아 정부를 대신하여" 이루어지고 있다고 밝혔습니다.
RecordedFuture는 캠페인이 유럽 여론에 미치는 전반적인 영향이 미미하다고 결론지었습니다.
블룸버그통신에 따르면 음성사기탐지업체는 일레븐랩스의 제품이 남용됐다는 비난이 이번이 처음이 아니라고 결론지었다. 음성 사기 탐지 회사는 2024년 1월 예비 선거에서 유권자들에게 투표하러 나가지 말라고 촉구하는 미국 대통령 조 바이든을 사칭하는 자동녹음전화에 자사 기술이 역할을 했다고 결론지었습니다. 이에 일레븐랩스는 정치인의 목소리를 자동으로 차단하는 등 새로운 보안 기능을 출시했다고 밝혔다.
ElevenLabs는 "무단, 유해하거나 기만적인 위조"를 금지하며 이를 시행하기 위해 자동 검토 및 사람의 검토와 같은 다양한 도구를 사용한다고 말합니다.
ElevenLabs는 2022년 창립 이후 폭발적인 성장을 경험했습니다. 이 회사의 ROE는 최근 1년 전의 2,500만 달러에서 8,000만 달러로 증가했으며, 곧 30억 달러로 가치를 평가할 수 있습니다. 투자자로는 Andreessen Horowitz와 전 Github CEO Nat Friedman이 있습니다.