최근 집단소송 확대를 통해 인공지능을 이용해 아동성착취물(CSAM)을 제작한 파격적인 사례가 드러났다. 원고는 X 플랫폼과 그 인공지능 회사인 xAI가 유해한 '원클릭 옷 벗기' AI 도구를 구축했다고 비난했을 뿐만 아니라 플랫폼이 아동 성범죄와 관련된 수사 과정에서 주요 사용자 정보를 의도적으로 은폐하고 법 집행 기관의 활동을 방해했다는 점을 강력히 비난했습니다.
소송에 따르면 올해 3월 한 남성이 xAI의 그록(Grok) 모델을 이용해 11세 때 찍은 의붓딸의 사진을 7,000개의 외설적인 이미지와 동영상으로 처리한 사실이 경찰에 적발된 뒤 자살했다. 고소장에 따르면 근친상간 및 강간 콘텐츠가 포함된 이미지를 생성할 때 Grok의 보호 시스템은 거의 비활성화되었습니다. 해당 남성이 "윤간 강간"과 같은 매우 명백한 불법 지시를 입력한 후에야 시스템이 국립실종착취아동센터(NCMEC)에 온라인 신고 메커니즘을 작동시켰습니다.
그러나 경찰에 신고한 후에도 사건은 성공적으로 해결되지 않았다. 원고 측 법무팀은 CSAM 신고 시 플랫폼이 IP 주소 등 주요 데이터를 제공하도록 규정하고 있음에도 불구하고 xAI가 경찰과 NCMEC의 수사에 수차례 협조를 거부해왔다고 지적했다. 문서에는 xAI가 몇 주 동안 "모든 측면에서 조사를 방해"하여 법 집행관이 용의자를 찾아 체포하는 것을 어렵게 만들었다고 명시되어 있습니다. 경찰이 마침내 수색영장을 통해 피의자의 장비를 압수하고 나서야 수개월간 지속됐고 수천 장의 AI 위조 이미지가 연루된 범행의 진상이 드러났다. 남성은 보석으로 풀려난 뒤 자살해 피해자 소녀에게 큰 정신적 충격을 안겼다.
이 사건은 고립된 사건이 아닙니다. 원고 측 변호사는 2026년 초 NCMEC의 평가에 따르면 xAI가 제출한 보고서 중 90%가 핵심 정보 부족으로 인해 법 집행 조치로 전환될 수 없는 것으로 나타났다고 밝혔습니다. 피해자 가족들은 xAI가 아이들의 안전보다 상업적 이익을 우선시하고 기술이 남용될 수 있다는 것을 알면서도 xAI 제품이 범죄자들이 아이들에게 해를 끼치는 도구가 되도록 허용했다고 비난했습니다. 관련 비난에 직면하여 xAI 창립자 Elon Musk는 이전에 Grok이 그러한 콘텐츠를 생성하는 데 사용되었다는 사실을 부인했습니다.
소송에서는 Stability AI도 피고로 지정되었습니다. 고소장은 Stability AI의 오픈 소스 모델이 많은 타사 "원클릭 언드레스" 애플리케이션에 대한 기본 기술 지원이며 회사가 시장 점유율을 확보하기 위해 의도적으로 노골적인 콘텐츠 생성에 대한 보호 설정을 완화했다고 주장합니다. 관련 연구 보고서에서는 Stable Diffusion 모델 계열이 현재 인터넷에서 "원클릭 스트리핑" 동작의 주요 원동력이라고 지적합니다.
이에 대해 Stability AI 관계자는 "회사는 기술 남용, 특히 CSAM 생성 및 유포를 방지하기 위해 최선을 다하고 있으며 엄격한 보안 보호 조치가 시행되었으며 회사가 보안을 방치했다는 비난은 거짓이라고 답했습니다. 집단 소송은 현재 그러한 기술로 인해 피해를 입은 모든 미국 시민을 포함하려고 노력하고 있습니다. 관계 기관들은 생성 AI가 인기를 끌면서 AI와 관련된 아동 성 착취 신고 건수가 급증하고, 수사를 지원하는 기술 회사의 부재가 사법 처리의 주요 장벽이 되었다고 경고했습니다.