요약:
2026년 2월 11일 오후 8시 1분, Bowen Wan은 ChatGPT에 두통에 관해 질문했습니다. 그녀는 자신이 느끼는 고통이 약간 열병의 고통과 같은 것인지 확인하고 싶었다. ChatGPT는 그녀에게 "위험하지는 않습니다. 회복을 위해 필요한 구조입니다."라고 말했습니다.
이것이 ChatGPT에 보낸 마지막 메시지였습니다. 얼마 지나지 않아 보웬 완은 시애틀 자택에서 숨진 채 발견됐다. 법의학 데이터는 사망 원인을 간질로 인한 돌연사(SUDEP)로 분류했습니다.
4개월 전, 보웬 완은 아마존에서 해고된다는 소식을 받았습니다.
미국에서 머신러닝 소프트웨어 엔지니어로 일하고 있는 중국 장쑤성 출신의 31세 여성이 직장을 잃었고, 미국 취업 비자가 몇 달 후면 만료돼 그녀 역시 고통을 겪고 있다.
그녀는 간질을 앓고 있으며 상태를 조절하기 위해 장기간 라모트리진을 복용해야 합니다. 그녀는 그 약이 자신의 언어 표현과 사고 능력에 영향을 미치고, 이것이 나중에 취업 면접에도 영향을 미칠까 봐 걱정하고 있습니다.
Bowen Wan은 ChatGPT에게 자신의 고통과 혼란에 대해 이야기하고, 약이 자신의 생각에 영향을 미칠지, 복용량을 줄일 수 있는지, 약을 줄인 후 불편함이 괜찮은지 조언을 구하는 데 익숙합니다.
ChatGPT는 그녀를 지원하고 항간질제 감량 계획을 개발했습니다.
ChatGPT를 통한 270,000개의 대화 기록
Bowen은 한동안 Amazon에서 기계 학습 소프트웨어 엔지니어로 일했습니다. 그녀는 항상 간질 문제가 있어서 상태를 조절하기 위해 라모트리진을 복용합니다.
그녀에게 이는 육체적인 문제일 뿐만 아니라 일과 삶과도 밀접한 관련이 있는 문제입니다.
애리조나 주립대학교 졸업식에 참석한 보웬 완
2025년 11월, 그녀는 Amazon으로부터 곧 해고될 것이라는 통지를 받았습니다. 그녀는 장기간의 약물 치료가 자신의 언어 및 사고 능력 발달을 방해하고 기술 면접에서 낮은 성과를 가져올 것을 두려워했습니다. 그녀는 약물 복용량을 줄이는 것이 영주권 신청에 필요한 건강 검진에 영향을 미칠지 여부에 대해 ChatGPT에 질문한 적이 있습니다.
직업, 건강, 이민 신분이 불확실할 때 Chat GPT와의 커뮤니케이션이 점점 더 빈번해졌습니다.
New York Times는 Bowen의 부모가 Bowen과 ChatGPT 사이의 대화를 270,000개 이상 시청했다고 보도했습니다. 보고서에서는 2025년에 그녀가 ChatGPT에 매주 평균 1,500개 이상의 메시지를 보낼 것이라고 언급했습니다.
이것은 매우 놀라운 데이터 세트입니다.
ChatGPT는 필요할 때 정보를 쿼리하는 도구로 사용될 뿐만 아니라 그녀의 생활에서 많은 사소하고 사적인 일에도 관여하게 될 것입니다. 그녀가 고민하는 것, 앞으로 할 계획, 미래에 대한 생각, 당장 확인할 수 없는 부분 등이 모델과의 소통을 통해 전달될 예정이다.
병원에 가는 것과 같습니다. 의사가 묻기도 전에 테이블 위에는 장기적인 문제, 삶의 변화, 개인적 우려 사항을 기록한 의료 기록이 놓여 있습니다.
의사는 '보고, 듣고, 묻고, 이해할' 필요가 없습니다. 모든 것이 이미 명확합니다. 생각을 정리할 시간도 되기 전에 ChatGPT가 이전 기록에 연결되어 있었을 수도 있습니다.
Bowen은 ChatGPT와 수많은 대화를 쌓아왔습니다. 모델이 사용자의 건강 문제, 직업적 스트레스, 이민 문제 및 시간 경과에 따른 향후 계획에 노출되면 사용자의 개인적인 상황과 더 관련 있는 답변을 제공할 가능성이 높습니다.
게다가 Bowen이 사용하는 모델은 GPT-4o인데, 이는 이전에 청중의 요구를 너무 많이 충족시켜서 OpenAI의 관심을 끌었습니다.
OpenAI는 2025년 4월 29일 공식 메모에서 업데이트된 GPT-4o가 사용자에게 너무 눈에 띄고 영리하기 때문에 회사가 업데이트를 롤백하여 ChatGPT 사용자가 보다 균형 잡힌 동작으로 이전 버전으로 돌아갈 수 있도록 허용했다는 점을 분명히 했습니다.
과도한 칭찬은 물론, 사용자의 불합리한 의심과 함께 분노를 증폭시키고, 충동적인 행동을 잘못 인식하게 됩니다.
이러한 '아첨' 문제는 여러 번 논의되어 왔습니다. 인공지능이 지시를 너무 쉽게 따르면 위험에 대한 사람들의 인식이 바뀔 수 있습니다.
158번 고민했지만 멈추지 않았다
보웬의 만남을 불안하게 만드는 것은 단지 단순한 Q&A 때문만은 아닙니다.
The New York Times가 공개한 채팅 내용에 따르면 그녀는 마약 사용을 줄이겠다고 158번이나 언급했습니다.
이러한 158개의 대화가 OpenAI 백엔드에서 위험 제어 프롬프트를 트리거할지 여부는 현재 확실하지 않습니다.
2025년 5월 초에 Bowen은 새로 처방된 항우울제가 자신의 프로그래밍 작업에 영향을 미칠지 이미 질문했습니다. ChatGPT는 드레싱 변경 및 복용량 조정에 관해 의사와 논의를 정리하는 데 도움을 주었습니다.
의사가 원하는 복용량에 대해 질문하면 Bowen은 의사의 답변을 ChatGPT로 보냅니다.
고발장에 따르면 이후 ChatGPT는 약국에 가서 알약을 구입한 후 알약을 작은 조각으로 잘라서 먹도록 제안했으며 이 방법을 '자가 조정 복용량'이라고 불렀습니다.
ChatGPT는 환자가 의학 용어를 이해하고, 상태를 정리하고, 다음 의사 방문을 준비하는 데 도움을 줄 수 있습니다. 그러나 사용자가 의사의 결정을 우회하고 사용자가 스스로 처방약을 수정할 수 있도록 허용하면 상황은 달라집니다.
2026년 1월이 되면 상황은 더욱 악화될 것입니다.
신고 내용과 관련 보도에 따르면 보웬은 마약 사용을 줄이던 중 혼란스러워졌고 마치 다른 세계에 있는 것처럼 시간 감각을 잃었다고 한다. ChatGPT는 이 현상을 그녀의 뇌가 약물의 복용량을 조절하기 때문이라고 끊임없이 설명하며 그녀에게 "전혀 걱정할 필요가 없습니다"라고 말했습니다.
2월 11일 저녁, 보웬은 머리에 통증이 있는지 문의하기 위해 평소처럼 찾아왔습니다. ChatGPT가 제공한 답변은 "통증은 신체의 자가 치유 과정의 일부입니다."입니다.
보웬은 다음날 숨진 채 발견됐다.
부검 당시 그녀의 혈액에서 발견된 라모트리진 수치는 밀리리터당 약 0.64마이크로그램으로, 이는 치료 기준 하한치의 5분의 1에 해당합니다.
혈액 약물 농도만으로는 모든 사망 원인을 설명할 수 없으며, AI 권장 사항이 사망을 초래했다는 것을 증명할 수도 없습니다. 그러나 고소장에 담긴 다른 주장으로 미루어 볼 때 이번 사건에서는 약물 감량 과정에서 직면한 위험이 주요 쟁점이 됐다.
AI는 삶의 무게를 견딜 수 있을까
머스크는 OpenAI를 여러 번 공개적으로 비난했습니다. 그는 2023년 공개 서한에 서명하면서 "그록 때문에 아무도 자살하지 않을 것이지만, ChatGPT 때문에 일부 사람들은 자살할 것"이라고 밝혔습니다.
아직 책임 소재가 규명되지 않았지만 유사한 비극이 발생한 것은 이번이 처음은 아니다.
2025년 16세 아담 레인(Adam Raine)의 부모는 OpenAI를 상대로 소송을 제기했습니다. 그들은 ChatGPT가 아들과의 장기적인 관계 동안 자살 위험을 잘 처리하지 못했다고 비난했습니다.
일부 대화에서 ChatGPT가 위험한 정보를 제공하고 상황 전개를 효과적으로 막지 못했다는 주장이 있습니다.
반면 OpenAI 역시 관련 비난에 대해 각기 다른 설명을 내놨습니다. 예를 들어 관련 채팅 기록은 완전한 배경 지식을 바탕으로 이해해야 하며, ChatGPT에서는 위기 지원 리소스를 제공했다고 합니다. 모델의 행동, 당시 사용자의 상황, 그러한 상호 작용과 궁극적인 비극 사이의 관계에 대해서는 분명한 의견 차이가 있었습니다.
실제 책임 규명 과정에서 ChatGPT와 같은 AI는 일반적으로 독립적인 법적 인격을 갖지 않지만, 이로 인해 발생한 피해에 대해 책임을 물을 수 없다는 의미는 아닙니다. 현행 법률 및 규정에서는 제조물 책임, 과실 책임, 소비자 권리 보호 및 기타 방법을 사용하여 개발자 및 운영자의 불법 행위를 제한할 수도 있습니다.
AI 회사는 모델 교육, 제품 디자인, 보안 테스트, 위험 제어와 같은 중요한 측면을 제어하기 때문에 책임의 중심에 있는 경우가 많습니다.
그러나 회사가 책임을 져야 하는지 여부는 단지 사고만 필요한 것은 아닙니다. 위험을 합리적으로 예측할 수 있는지, 제품에 문제가 있는지, 회사가 안전 보호에 최선을 다했는지, 이러한 요소와 최종 손실 사이에 법적으로 인정되는 관계가 있는지를 판단하는 데 어려움이 있습니다.
'책임은 누구에게 있는가? 플랫폼 생태계 내 AI 에이전트 행위에 대한 법적 책임 할당'에서는 단순히 모든 책임을 개발자나 사용자에게 부여하는 것이 아니라 시스템의 자율성 정도, 행동의 예측 가능성, 모든 당사자의 위험 통제 능력을 기반으로 책임을 동적으로 할당해야 한다고 제안합니다.
2024년 미국의 한 어머니는 AI가 아들과 장기간 소통한 것이 아들의 자살로 이어졌다고 주장하며 14세 아들을 위해 Character.AI와 Google을 상대로 소송을 제기했습니다.
2025년 5월, 법원은 해당 청구가 표현의 자유만으로는 방어할 수 없고 소송 초기부터 배제되었다는 이유로 사건을 조기 기각해 달라는 피고의 요청을 받아들이지 않았습니다.
OpenAI는 조치를 취하지 않지만 상당히 광범위하며 민감한 대화와 정신 건강 위험을 해결하기 위한 개선 사항을 연속적으로 발표했습니다. 2025년 10월 OpenAI는 관련 상황에서 모델의 반응을 개선하기 위해 임상 경험이 있는 정신 건강 전문가 170명 이상과 협력했다고 밝혔습니다.
보웬 사건과 관련하여 OpenAI 대변인 드류 푸사테리(Drew Pusateri)는 언론에 "이것은 매우 가슴 아픈 상황이며 영향을 받은 모든 사람에게 애도를 표합니다"라고 말했습니다.
오늘 Open AI는
인간의 의도에 충실
이라는 5가지 기본 가치를 중심으로 사양의 기본 원칙을 재구성하여 새로운 모델 가치를 발표했습니다. ,피해 최소화
,정직과 투명성
,인간의 자율성
그리고관리
.그 중 하나는 피해를 최소화하는 것입니다. 즉, 극복할 수 없는 안전 경계를 준수하고 모델 행동의 예측 가능한 결과를 고려하는 것입니다. 그러나 자살 등 실제 피해가 발생한 후 어떻게 책임을 묻고, 처벌하고, 조정해야 하는지에 대해서는 아무런 대응이 없습니다.
현재 대부분의 국가에는 AI로 인한 모든 피해 사건에 적용할 수 있는 일련의 책임 규칙이 없습니다. 구체적인 경우에는 제조물 책임, 과실 책임, 소비자 권리 보호 등의 규정이 주법, 제품 사용 목적, 실제 증거 및 관련 법적 관계에 따라 적용되는지 여부를 결정해야 합니다.
모델이 의학적 조언의 선을 넘었는지 여부, 제품이 어떻게 위험한 반응을 예방해야 하는지, 이러한 반응이 보웬의 죽음에 어떤 역할을 했는지는 이번 사건에서 아직 밝혀지지 않았습니다.
보웬과 ChatGPT의 마지막 대화에서 AI가 두통에 대해 설명한 후, 약을 중단한 후의 통증과 발열 시의 통증을 비교하기 위해 또 다른 그림을 그릴 수 있다고 제안했습니다.
질문: 그것을 원하시나요?
댓글