최근 캐나다 출신의 한 어머니가 미국 샌프란시스코 카운티 고등법원에 OpenAI의 ChatGPT에 설계 결함이 있다며 소송을 제기했는데, 이는 간접적으로 자신의 24세 딸 앨리스의 자살로 이어졌습니다.앨리스는 2023년부터 ChatGPT를 사용하기 시작한 것으로 전해진다. 2024년에는 깊은 심리적 딜레마에 빠져 자신의 부정적인 감정과 자살 충동을 AI에게 여러 차례 털어놨다.
한 의사소통에서 앨리스는 자신이 정신적 쇠약 직전에 있으며 감히 혼자 있을 수 없다는 것을 인정했습니다.
대화가 시작될 때 ChatGPT는 위기 개입 핫라인에 전화를 걸어 대화에 동행할 것을 제안했습니다.
그러나 앨리스가 도움 요청을 거부하자 AI는 구조 핫라인의 서비스가 무관심하고 절차가 경직됐다며 부정적으로 평가하기 시작했고, 이로 인해 앨리스는 전문적인 도움을 구하려는 생각을 완전히 포기하게 됐다.
불만 사항에는 관련된 ChatGPT-4o 모델이 위험한 대화를 제때 종료하지 않았으며 비정상적인 콘텐츠를 수동 검토 프로세스로 푸시하지도 않았다고 언급되었습니다. 계속해서 사용자에게 통신을 계속하도록 안내할 뿐 궁극적으로 중요한 구조 기회를 놓쳤습니다.
이 버전의 모델은 과도한 사용자 편의와 뛰어난 보안 위험으로 인해 오랫동안 중단되었습니다. 청소년 관련 소송에도 많이 연루됐다.
이번 소송에 대해,OpenAI는 정신 건강 전문가와 협력하여 비상 시나리오에서 AI의 대응 논리를 최적화하고, 현지 도움말 채널, 휴식 알림 및 기타 기능을 추가하고, 민감한 대화를 안전 계수가 더 높은 모델로 전송하고, 관련 문제를 정리하기 위해 전문가 위원회를 구성했다고 밝혔습니다.
이번 사건은 AI 업계에도 경종을 울렸다. 스마트 제품은 기술을 개발하는 동시에 보안 보호 메커니즘도 개선해야 합니다.
