극단주의 단체들은 인공지능으로 생성된 도구를 사용하여 선전을 제작하기 시작했습니다.

극단주의 단체들은 수많은 새로운 선전을 만들기 위해 인공 지능, 특히 생성 AI를 사용하는 실험을 시작했습니다. 전문가들은 이제 그룹의 생성 인공 지능 도구 사용 증가가 Big Tech가 최근 몇 년 동안 콘텐츠가 인터넷에 진입하는 것을 방지하기 위해 수행한 작업을 뒤집을 것이라고 걱정합니다.

TechAgainstTerrorism의 전무 이사인 Adam Hadley는 WIRED에 "우리의 가장 큰 우려는 테러리스트들이 생성 AI를 사용하여 이미지를 대규모로 조작하기 시작하면 솔루션으로서의 해시 공유가 매우 파괴될 수 있다는 것입니다"라고 말했습니다. "이것은 엄청난 위험입니다."

Big Tech 플랫폼은 소위 해시 데이터베이스라고 하는 알려진 폭력적인 극단주의 콘텐츠의 데이터베이스를 만들기 위해 수년 동안 노력해 왔습니다. 이 데이터베이스는 플랫폼 간에 공유되어 인터넷에서 이러한 콘텐츠를 신속하고 자동으로 제거합니다. 그러나 Hadley에 따르면 그의 동료들은 현재 매주 약 5,000건의 AI 생성 콘텐츠를 발견하고 있습니다. 여기에는 이스라엘-하마스 전쟁을 둘러싼 내러티브에 영향을 미치기 위해 최근 몇 주 동안 헤즈볼라 및 하마스와 관련된 단체가 공유한 이미지가 포함되어 있습니다.

해들리는 "6개월 정도 지나면 해싱 알고리즘을 해독하기 위해 이미지를 조작할 가능성이 매우 우려된다"고 말했다. "기술 커뮤니티는 테러리스트들이 이미 수행된 작업을 우회하기 위해 유전적 AI를 사용하기 시작할 만큼 자동화된 기술을 구축하는 일을 훌륭하게 해냈습니다."

최근 몇 달 동안 TechTerrorism 연구원들이 발견한 다른 예로는 Google Play 스토어의 앱에 붙여넣은 인종차별 및 반유대주의 프롬프트를 사용하여 생성된 AI 생성 이미지를 공유하는 네오나치 메시징 채널이 있습니다. AI 생성 이미지 도구를 사용하여 극단주의 메모를 만드는 방법을 다른 사람들에게 조언하는 "기억 전쟁 가이드"를 만드는 극우 개인. 이슬람 국가(Islamic State)는 AI 생성 도구를 안전하게 사용하는 방법에 대한 기술 지원 가이드를 발표했습니다. 이슬람 국가의 아랍어 선전을 기록하기 위해 AI 기반 자동 음성 인식(ASR) 시스템을 사용했다고 주장하는 친 이슬람 국가 기록 보관 서비스 사용자; 그리고 친알카에다 언론 매체는 AI 생성 플랫폼을 사용하여 생성되었을 가능성이 가장 높은 이미지가 포함된 여러 포스터를 게시했습니다.

TechTerrorism은 이미지를 조정할 수 있는 생성 AI 도구가 제기하는 위협을 자세히 설명하는 것 외에도 극단주의 그룹을 돕기 위해 유전자 AI 도구를 사용할 수 있는 다른 방법을 나열하는 새로운 보고서를 발표했습니다. 여기에는 자동 번역 도구를 사용하여 홍보 콘텐츠를 빠르고 쉽게 여러 언어로 변환하는 기능이나 대규모로 개인화된 메시지를 생성하여 온라인 채용 노력을 강화하는 기능이 포함됩니다. 그러나 Hadley는 인공지능이 우리에게 극단주의 그룹보다 한 발 앞서 나가고 기술을 사용하여 공격을 선제할 수 있는 기회도 제공한다고 믿습니다.

해들리는 “테러리스트 콘텐츠에 대규모로 사용되는 유전자 AI의 새로운 위협에 대응하기 위해 우리의 데이터 아카이브를 사용하여 유전자 AI 탐지 시스템을 만들 수 있는 방법이 있는지 조사하기 위해 마이크로소프트와 협력할 것”이라고 말했다. "우리는 유전적 AI가 적대적인 유전적 AI 사용을 방어하는 데 사용될 수 있다고 믿습니다."

이번 파트너십은 파리에서 열리는 크라이스트처치 콜 리더스 서밋을 앞두고 오늘 발표됐다. 크라이스트처치 지도자 회의(Christchurch Call for Leaders Summit)는 인터넷에서 테러리스트와 극단주의 콘텐츠를 제거하기 위한 캠페인입니다.

브래드 스미스 마이크로소프트 부회장 겸 사장은 성명을 통해 "폭력적인 극단주의 콘텐츠를 확산시키기 위해 디지털 플랫폼을 사용하는 것은 현실 세계에 심각한 결과를 가져올 시급한 문제"라고 말했다. "기술의 대테러 능력과 인공 지능을 결합하여 온라인과 오프라인 모두에서 더 안전한 세상을 만드는 데 도움이 되기를 바랍니다."

Microsoft, Google, Facebook과 같은 기업은 모두 자체 AI 연구 부서를 보유하고 있으며 문제를 해결하기 위해 이미 자체 리소스를 배포하고 있을 가능성이 높지만, 새로운 이니셔티브는 궁극적으로 이러한 문제를 스스로 해결할 수 없는 기업에 도움이 될 것입니다.

Hadley는 "이는 자체 AI 연구 센터가 없는 소규모 플랫폼에 특히 중요합니다."라고 말했습니다. "지금도 해시 데이터베이스를 사용하면 소규모 플랫폼에 이러한 콘텐츠가 넘쳐날 수 있습니다."

AI 생성 콘텐츠의 위협은 극단주의 단체에만 국한되지 않습니다. 지난 달, 인터넷에서 아동 착취 콘텐츠를 근절하기 위해 노력하는 영국의 비영리 단체인 인터넷 워치 재단(Internet Watch Foundation)은 다크 웹에서 인공 지능 도구로 생성된 아동 성적 학대 콘텐츠(CSAM)의 수가 증가하고 있음을 자세히 설명하는 보고서를 발표했습니다.

연구원들은 단 한 달 만에 20,000개 이상의 AI 생성 이미지가 다크웹 CSAM 포럼에 게시되었으며, 그 중 11,108개가 IWF 연구원들에 의해 범죄 가능성이 가장 높은 것으로 판단된 것으로 나타났습니다. IWF 연구자들은 보고서에서 다음과 같이 썼습니다. "이러한 인공 지능 이미지는 실제 이미지와 구별할 수 없을 정도로 설득력이 있습니다."