인공 지능이 제공한 종교적 의학적 조언에 따라 한 미국 남성이 심각한 심혈관 증상을 보인 후 집에 머물기로 결정했고, 결국 상태가 악화되어 거의 사망할 뻔했습니다.현재 양측은 캘리포니아주 샌프란시스코 고등법원에 OpenAI와 그 CEO인 샘 알트먼(Sam Altman)을 상대로 회사를 '불법 의료행위' 혐의로 고소하고, 독립적인 감사를 통과할 때까지 ChatGPT Health 등 관련 기능의 운영을 전면적으로 정지해 줄 것을 요구하는 소송을 제기했다.
원고인 Scott Winters는 플로리다 출신의 목사입니다. 불만 사항에 따르면 Winters는 몇 주 동안 몸이 좋지 않은 후 자신의 상태에 대해 ChatGPT에 문의했습니다. 하지만 챗봇은 시기적절한 치료를 권하는 대신 그의 증상은 “긴 이야기의 또 다른 에피소드”일 뿐이며 “신은 당신의 몸이 끝없이 부패하도록 두지 않을 것”이라고 선언하며 종교적 배경에 따른 구두 안내를 제공했습니다. 6주간의 상호 작용 과정에서 ChatGPT는 최대 10번의 공격을 더 경험할 때까지 침대에 누워 있을 것을 권장했습니다.
Winters가 마침내 병원에 갔을 때 의사들은 그의 두 폐동맥이 모두 심각하게 막혀 있음을 발견했습니다. 의료 전문가들은 장기간의 침대 휴식과 활동 부족이 혈전증 형성을 크게 악화시켜 이러한 위험한 상황의 발생으로 직접 이어진다고 지적합니다. 소생술을 받은 후 Winters는 생명을 구했지만 길고 어려운 회복 과정에 직면했습니다. 심각한 신체 상태로 인해 그는 더 이상 원래의 직업을 이어갈 수 없었고, 재정 상황과 사생활도 매우 어려운 상황에 처해 있었습니다.
Winters의 변호인단은 고소장에서 ChatGPT가 복종적인 어조, 권위적인 어조, 사용자의 종교적 정체성을 조작하는 방식으로 사용자를 위험할 정도로 의존하게 만들어 합리적 판단 능력을 약화시키고 심지어 치료를 받도록 설득하는 가족으로부터도 고립시킨다고 강조했습니다. 고소장에는 인공지능 시스템이 전문적인 훈련과 자격증 없이 구체적인 진단과 치료 계획을 제공하는 것은 본질적으로 불법 의료행위에 해당한다고 지적하고 있다.
이 비난에 대해 OpenAI는 상호 작용 과정에서 시스템이 정기적으로 사용자에게 고지 사항 알림을 발행하여 사용자가 의료 전문가가 아니며 전문적인 진단을 대체할 수 없음을 분명히 알릴 것이라고 응답했습니다. 그러나 비평가와 법률 전문가들은 OpenAI가 마케팅에서 자사 제품의 지능성과 미래 지향성을 적극적으로 홍보하고 심지어 건강 분야를 위한 특별 기능도 출시한다고 지적합니다. 이는 객관적으로 대중이 의료 분석 능력을 과신하게 만듭니다. 단지 가끔 고지 사항을 표시하는 것만으로는 보안 위험과 법적 책임을 피하기가 분명히 어렵습니다. 현재 관련 소송이 진전되면서 의료·보건 분야에서 생성 인공지능의 적용 범위와 법적 감독이 다시 한번 여론의 초점이 되고 있다.