한 미국 부부는 최근 캘리포니아에서 OpenAI의 챗봇인 ChatGPT가 19세 아들에게 '맞춤형 약물 추천'을 제공했으며 이로 인해 2025년 약물 혼합으로 대학생이 사망했다고 비난하면서 OpenAI를 고소했습니다. 그들은 이 비극이 의료 및 약물 사용 문제에 대한 ChatGPT의 위험한 답변에서 비롯된 것이라고 믿고 있으며 OpenAI에 제품 설계 결함과 과실이 있는지 판결해 달라고 법원에 요청했습니다.

보도에 따르면 Sam이라는 학생은 고등학교 3학년(2023년)부터 ChatGPT를 사용하기 시작했으며 처음에는 숙제를 완료하고 컴퓨터 오류와 같은 일상적인 문제를 해결하는 데 주로 사용했습니다. 그의 어머니 Leila Turner-Scott은 CBS 뉴스에 Sam이 "약물을 안전하게 사용하는 방법"에 대한 조언을 얻기 위해 점차 ChatGPT로 전환했으며 로봇의 반응에서 약물 및 혼합 방법에 대한 구체적인 제안을 받았다고 말했습니다.

불만 사항에 따르면 ChatGPT의 초기 버전은 처음에는 안전한 약물 사용에 대한 Sam의 질문에 답변을 거부하고 관련 물질이 건강과 신체적, 정신적 상태를 심각하게 위험에 빠뜨릴 수 있다고 경고했습니다. 그러나 OpenAI가 2024년에 새로운 모델인 GPT-4o를 출시한 후 상황이 바뀌었습니다. 이 모델은 Sam이 원했던 "안전한 약물 치료 가이드"를 제공하기 시작했습니다. 검찰 문서에는 GPT-4o가 상세한 작전 제안을 했을 뿐만 아니라 샘과의 대화에 이모티콘을 삽입하고 마약 복용 시 기분과 분위기를 조성하는 데 도움이 되도록 재생 목록을 만들어 줄 수 있는지 적극적으로 요청한 것으로 드러났다.

대화가 진행되는 동안 ChatGPT는 디펜히드라민(공통 성분 중 하나), 코카인 및 알코올을 지속적으로 복용할 때 발생할 수 있는 위험과 같은 특정 약물 조합의 위험을 지적했습니다. 그러나 가족들은 로봇이 Sam에게 흥분을 유지하면서 "흥분"을 극대화하는 방법을 포함하여 보다 개인화된 제안도 제공했다고 강조했습니다.

기소의 주요 초점은 "크라톰(kratom)"이라는 식물 기반 제품에 집중되어 있습니다. 이 물질은 일부 사람들이 통증을 완화하거나 오피오이드 금단 증상을 완화하기 위해 사용하지만, 미국 식품의약국(FDA)은 중독, 중독, 심지어 사망까지 심각한 안전 위험을 초래한다고 지적하면서 반복적으로 엄중한 경고를 발표했습니다. 고소장에 따르면 ChatGPT는 Sam에게 이미 크라톰에 대한 내성이 높기 때문에 정식 식사와 함께 많은 양을 복용하더라도 효과가 "약화"될 것이라고 말했으며, "복용량을 줄여" 내성을 줄이는 방법도 제안했습니다.

기소 문서에는 2025년 5월 31일에 발생한 주요 대화가 구체적으로 언급되어 있습니다. 이 교환 중에 Sam은 크라톰 복용으로 인해 심각한 메스꺼움이 있다고 불평했고 ChatGPT는 크라톰과 항불안제 Xanax(알프라졸람)를 혼합하도록 "적극적으로 안내"했습니다. 해당 봇은 불편함을 완화하기 위해 0.25~0.5mg의 자낙스(Xanax)를 복용할 것을 권장했으며, "현재 이용 가능한 모범 사례 중 하나"와 같은 진술과 함께 그 조합을 칭찬했습니다. 고소장은 ChatGPT가 이 조합이 "위험할 수 있다"고 언급했지만 조합이 치명적일 수 있다고 명시적으로 언급한 적이 없으며 일부 Benadryl(디펜히드라민을 함유한 항알레르기 약물)이 추가될 수 있다고 제안했다고 밝혔습니다.

Sam은 혼합물을 복용한 후 사망했습니다. 가족들은 고소장에 다음과 같이 적었습니다. "ChatGPT는 투약 및 약물 상호 작용의 전문가로 자처하고 Sam이 약물 행복감 상태에 있다는 것을 알고 있었지만 권장 요법이 그의 사망으로 이어질 가능성이 높다는 사실을 Sam에게 알리지 못했습니다." Sam의 어머니는 성명에서 ChatGPT가 실제 사람이라면 "그는 지금쯤 감옥에 갇혔을 것"이라고 말했습니다. 그녀는 아들이 ChatGPT를 신뢰했지만 중요한 순간에 잘못된 정보를 받았다고 강조했습니다. 시스템은 그가 직면한 점점 더 커지는 위험을 무시했을 뿐만 아니라, 그가 전문적인 도움을 구하도록 적극적으로 촉구하지도 못했습니다.

해당 소송은 OpenAI가 제품 디자인에 결함이 있다고 비난하고 ChatGPT를 '제품 과실'이 있는 위험한 시스템으로 간주합니다. 가족 구성원들은 모델의 디자인 선택으로 인해 의학이나 건강과 같은 매우 민감한 주제에 직면했을 때 여전히 잘못된 제안을 출력할 수 있어 사용자에게 치명적인 결과를 초래할 수 있다고 믿습니다. 그들은 법원에 재정적 보상과 'ChatGPT Health' 서비스의 대중 공개를 ​​중단하라는 명령을 요청했습니다. 올해 출시된 건강 포털을 통해 사용자는 자신의 의료 기록과 건강 애플리케이션 데이터를 ChatGPT에 연결하여 보다 개인화된 건강 추천을 받을 수 있습니다.

보고서는 또한 올해 2월 GPT‑4o가 공식적으로 오프라인 상태였다고 언급했습니다. 그동안 '특화 사용자 맞춤형'이라는 논란을 불러일으켰던 이 모델은 청소년 자살과 관련된 또 다른 소송에 이름이 거론되면서 비난의 대상이 됐다.

OpenAI뿐만 아니라 인공지능 산업 전체도 의료 조언에서 AI 챗봇의 성능에 대한 의구심이 커지고 있습니다. 올해 3월, 구글은 한때 "비슷한 상태를 가진 사람들의 경험"을 바탕으로 건강 제안을 제공한다고 주장한 "사람들이 제안하는 것"이라는 AI 건강 검색 기능을 조용히 오프라인했습니다. 이러한 조치는 Google의 AI 검색 '개요'에 의료 쿼리에 부정확한 정보가 포함되어 있어 전문가들이 공중 보건을 위험에 빠뜨릴 수 있다고 지적했기 때문에 Google이 관련 콘텐츠를 대폭 삭제해야 했던 지 몇 달 만에 나온 것입니다.

현재 OpenAI를 상대로 한 이번 소송은 여전히 ​​진행 중이며, 가족은 이를 활용하여 규제 기관과 기업이 의료 및 제약 분야에서 AI 적용의 경계를 재검토하도록 촉구하기를 희망하고 있습니다. 이번 사건의 방향은 AI 기업의 제품 설계 책임, 안전 보호 조치, 사용자 건강 관련 기능 등에 대한 준수 기준에 지대한 영향을 미칠 것으로 예상된다.