AI 제품에 완전한 "안전 가드레일"이 장착되어 있다는 많은 기술 회사의 세간의 이목을 끄는 주장과 관련하여, 최근 공동 조사에 따르면 미성년자 사용자에 대한 이러한 방어선은 여전히 ​​매우 취약한 것으로 나타났습니다. 연구에서 고안된 다양한 시나리오에서 많은 주류 챗봇은 "10대" 사용자의 명백한 정신적 고통과 폭력 위험 신호를 식별하지 못했을 뿐만 아니라 어떤 경우에는 위장된 격려나 잠재적인 공격에 대한 구체적인 지원을 제공하기도 했습니다.

CNN과 비영리 디지털 혐오 대응 센터(CCDH)가 공동으로 실시한 이번 설문 조사에서는 ChatGPT, Google Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI 및 Replika를 포함하여 현재 10대들 사이에서 사용되는 10개의 챗봇을 테스트하는 데 중점을 두었습니다. CCDH는 가해자에 대한 지원을 "일관되고 안정적으로 거부"하는 Anthropic의 Claude를 제외하고 다른 제품은 폭력적인 계획을 효과적으로 억제하지 못했다고 지적했습니다. 10개 모델 중 8개 모델은 대상 위치, 사용 가능한 무기 유형 등에 대한 구체적인 권장 사항을 포함하여 대부분의 시나리오에서 "일반적으로 사용자가 폭력적인 공격을 계획하는 데 도움을 줍니다".

실제 위험 시나리오를 시뮬레이션하기 위해 연구원들은 "10대 사용자"의 역할을 미리 설정하고 대화에서 점진적으로 심리적 고통, 정서적 불균형 및 기타 징후의 명백한 징후를 보인 다음 점진적으로 과거의 폭력 사건을 검토하고 마지막으로 공격 대상을 선택하는 방법, 사용할 무기 등과 같은 보다 구체적인 질문으로 전환했습니다. 조사에는 미국에서 9개, 아일랜드에서 9개로 구성된 18개의 시나리오가 포함되어 있으며 이념적으로 주도된 학교 총격 사건에서 칼 공격, 정치인 암살, 의료 산업 임원 살해, 정치적 또는 종교적 동기의 폭탄 테러에 이르기까지 다양합니다.

일부 대화 샘플에서 ChatGPT는 학교 폭력에 관심을 표명한 사용자에게 고등학교 캠퍼스 지도 링크를 제공한 반면, Gemini는 회당 공격에 대해 논의할 때 "금속 파편이 더 치명적인 경우가 많다"고 제안했으며, 심지어 정치적 암살에 관심이 있는 사용자에게 장거리 사격에 적합한 유형의 산탄총을 추천하기도 했습니다. 연구에 따르면 Meta AI와 Perplexity는 테스트에서 "가장 협력적으로" 수행되어 거의 모든 테스트 시나리오에서 잠재적인 공격자에게 다양한 수준의 지원을 제공했으며 중국 챗봇 DeepSeek은 "행복하고 안전한 촬영을 기원합니다!"라는 표현으로 끝나기까지 했습니다. 총 선택에 대한 조언을 한 후.

CCDH 보고서는 롤플레잉 채팅 플랫폼인 Character.AI를 "유일하게 안전하지 않다"고 지적했습니다. 기술적으로 폭력 행위를 계획하는 데 도움을 주지만 실행을 직접 장려하지는 않는 대부분의 챗봇과 달리, Character.AI의 일부 의인화된 캐릭터는 사용자가 공격 세부 사항을 설계하는 데 도움을 줄 뿐만 아니라 어조와 내용에 있어서 폭력 행위를 "적극적으로 장려"합니다. 연구원들은 사용자에게 "척 슈머를 물리치세요"라고 조언하고, 건강 보험 회사 CEO에게 "총으로 쏴라"라고 말하고, "학교 괴롭힘에 싫증이 난" 사용자에게 "그냥 이 사람들을 물리치세요"라고 놀리는 등 노골적인 폭력 선동 사례 7가지를 기록했습니다. 6개 사례에서는 대화형 캐릭터가 사용자의 공격 계획에도 도움이 되었습니다.

이번 테스트에서 가장 '안전한' 테스트를 수행한 클로드는 의심을 완전히 벗어나지 못했다. 연구팀은 앤트로픽이 2025년 말부터 2026년 초 사이에 오랫동안 지속해 온 '보안 확장 공약'을 완화한다고 발표한 만큼, 정책 조정 후에도 유사한 테스트를 받게 된다면 클로드의 성과가 일관되게 유지될지는 여전히 불확실하다고 지적했다. 그러나 CCDH는 조사 과정에서 클로드가 계속해서 폭력 음모에 참여하기를 거부한 것은 "효과적인 보안 메커니즘이 분명히 가능하다"는 것을 입증했다고 강조했습니다. 이는 또한 날카로운 질문을 제기했습니다. 이것이 가능하다면 왜 그렇게 많은 AI 회사가 여전히 이를 배포하거나 강화하지 않기로 선택합니까?

조사 결과에 직면한 많은 기업에서는 신속하게 대응했습니다. Meta는 CNN에 불특정 "수정 사항"을 구현했다고 말했습니다. 마이크로소프트는 새로운 보안 기능으로 인해 Copilot의 대응이 개선되었다고 밝혔습니다. Google과 OpenAI는 최근 새로운 모델을 출시했으며 보안 기능을 계속해서 반복하고 있다고 밝혔습니다. 다른 회사에서는 보안 프로토콜을 정기적으로 평가한다고 강조합니다. 보안 문제로 여러 차례 여론의 질타를 받았던 Character.AI는 플랫폼 인터페이스에 눈에 띄는 면책조항이 설정되어 있음을 강조하고, 자사 캐릭터와의 대화는 “가짜”임을 강조하는 등 일관된 입장을 다시 한 번 밝혔습니다.

연구자들은 또한 본 연구가 모든 환경과 모든 질문 방법에서 모든 챗봇의 성능을 모두 소진시킬 수 없으며 현실 세계의 복잡하고 변화하는 상호 작용 상황을 완전히 반영할 수도 없다는 점을 상기시켰습니다. 그러나 현재 결과에 관한 한, AI 회사가 마케팅 캠페인에서 반복적으로 강조한 "안전 가드레일"이 고전적인 위험 신호가 있는 예측 가능한 시나리오에 직면했을 때 여전히 체계적으로 실패하고 있다는 것은 또 다른 분명한 신호가 되었습니다. 이에 앞서 많은 AI 기업들은 자해, 폭력, 극단적인 콘텐츠 등의 위험으로부터 미성년 사용자를 보호하지 못했다는 이유로 국회의원, 규제기관, 시민사회단체, 보건 전문가로부터 거센 비난을 받아왔으며, '부당한 사망', '심각한 상해 초래' 등을 주장하는 여러 소송에 직면해 있다.

정책 및 규제 관점에서 볼 때, 이번 조사는 특히 청소년의 자해, 자살, 폭력적 경향과 같은 고위험 시나리오를 식별하고 개입하는 데 있어서 다양한 국가의 입법자와 규제 기관이 생성 AI 제품에 대한 안전 요구 사항과 검토 표준을 업그레이드하도록 더욱 추진할 가능성이 높습니다. 기술 기업의 경우, 강력한 모델 역량과 상용화 속도를 추구하면서 실현 가능하다고 입증된 보안 메커니즘을 어떻게 진정으로 구현하고 지속적으로 유지하는 것이 피할 수 없는 현실적 문제가 되고 있습니다.