OpenAI 회사는 최근 매주 ChatGPT와 통신할 때 100만 명 이상의 사용자가 자살 주제에 대해 토론한다는 데이터를 발표했습니다. 회사가 발표한 새로운 데이터에 따르면, 활성 ChatGPT 사용자 중 약 0.15%가 매주 "명확한 자살 계획이나 의도"에 대해 대화를 나누고 있습니다. ChatGPT의 주간 활성 사용자 수가 8억 명이 넘는다는 사실을 바탕으로 관련 대화 수가 100만 건을 넘어섰습니다.
OpenAI는 비슷한 비율의 사용자가 ChatGPT에 높은 감정적 의존성을 보이며 매주 "수십만 명"이 정신병이나 조증의 징후를 보이고 있다고 지적했습니다. 회사는 이러한 극단적인 대화가 "극히 드물지만" 여전히 매주 수천 명의 사용자에게 영향을 미친다고 강조했습니다.
이번 정보 공개는 정신 건강과 관련된 민감한 주제에 대응하는 AI의 능력을 향상시키기 위한 OpenAI의 이니셔티브입니다. 회사는 최신 버전의 ChatGPT를 개발하는 동안 170명 이상의 정신 건강 전문가의 자문을 받았다고 밝혔습니다. 이들 전문가들은 관련 답변에서 최신 버전의 ChatGPT가 "이전 버전보다 더 적절하고 일관성이 있다"고 말했습니다. 최근 AI가 정신건강 문제에 미치는 영향에 대한 많은 보고가 있었습니다. 일부 연구에서는 AI 챗봇이 사용자에게 위험한 신념을 갖도록 장려하고 심지어 망상적 사고를 유발할 수도 있다고 지적했습니다.
정신 건강 문제는 OpenAI의 핵심 과제가 되었습니다. 올해 초 OpenAI는 16세 소년의 부모가 ChatGPT를 통해 자살 관련 콘텐츠를 전달한 후 결국 목숨을 끊기로 결정했다는 이유로 회사를 상대로 소송을 제기했습니다. 캘리포니아주와 델라웨어주 법무장관도 OpenAI에 10대 사용자에 대한 보호 조치를 강화해야 한다고 경고했습니다.
이달 초 OpenAI CEO인 샘 알트만(Sam Altman)은 소셜 플랫폼을 통해 회사가 "심각한 정신 건강 문제를 완화할 수 있었다"고 말했습니다. 다만 구체적인 관련 조치는 공개되지 않았다. 이번 주에 발표된 수치는 이러한 약속을 뒷받침하고 문제의 광범위한 성격을 반영하는 것으로 보입니다. Altman은 또한 회사가 성인 사용자가 에로틱한 콘텐츠에 대해 AI와 통신할 수 있도록 허용하는 것을 포함하여 일부 제한을 완화할 것이라고 밝혔습니다.
공식 데이터에 따르면 최신 버전의 GPT-5는 이전 버전보다 정신 건강에 대한 대응에서 원하는 결과를 달성할 가능성이 약 65% 더 높습니다. 자살 주제에 대한 응답 평가에서 GPT-5 새 버전의 준수율은 91%인 반면, 이전 버전은 77%입니다. 새 버전의 GPT-5에서는 긴 대화 중 보안 보호도 강화되어 이전 버전의 긴 대화 중 보호 수준이 떨어지는 단점을 보완했습니다.
또한 OpenAI는 감정적 의존성과 자살이 아닌 정신 건강 위기를 AI 모델 안전 벤치마크에 통합하는 새로운 평가 표준도 출시했습니다. 또한 회사는 더 많은 부모 감독 도구를 출시했으며 미성년 사용자를 자동으로 식별하고 더 엄격한 보안 조치를 제공하는 시스템을 개발하고 있습니다.
GPT-5는 이전 버전에 비해 보안이 향상되었지만 OpenAI는 여전히 수백만 명의 유료 사용자에게 오래되고 덜 안전한 AI 모델을 공개하고 있습니다. 현재 데이터로 볼 때 일부 정신 건강 위험은 여전히 존재하며 문제가 완전히 해결될 수 있는지 여부는 아직 알 수 없습니다.