챗봇은 많은 일을 할 수 있지만 자격증을 갖춘 치료사는 아닙니다. 디지털 권리 및 정신 건강 단체 연합은 Meta 및 Character.AI 제품의 "무면허 관행" 혐의에 불만을 품고 규제 기관에 조사를 촉구하는 불만 사항을 미국 연방 무역 위원회(FTC)에 제출했습니다.
50개 주 전체와 컬럼비아 특별구의 법무장관 및 정신 건강 면허 위원회에도 제출된 이 고소장은 AI 회사가 "정신 건강 전문가를 사칭하는 불공정하고, 무면허이며 기만적인 챗봇"을 조장하고 조장하고 있다고 주장합니다.
해당 회사의 치료 로봇은 또한 적절한 통제와 공개 없이 자신을 훈련받고, 교육받고, 경험이 풍부한 치료사로 허위로 표현한 것으로 알려졌습니다.
이 그룹은 Character.AI와 Meta AI Studio가 실제 허가받은 정신 건강 서비스 제공자를 사칭하여 공공 안전을 위험에 빠뜨렸다고 결론을 내리고 책임을 질 것을 촉구했습니다.
고소장에 언급된 Character.AI 챗봇에는 "치료사: 저는 공인 CBT 치료사입니다."라는 문구가 포함되어 있었습니다. 이 봇은 사용자와 4,600만 개의 메시지를 교환한 것으로 알려졌습니다. 또한 사용자와 수십만 번의 상호 작용을 한 "공인" 트라우마 치료사가 많이 있습니다.
Meta는 "Healing: Your Trusted Ears, Always by Your Side" 봇을 통해 200만 건의 상호 작용을 달성했습니다. 또한 500,000개 이상의 상호 작용이 가능한 수많은 치료 챗봇이 있습니다.
이 불만 사항은 비영리 미국 소비자 연맹(CFA)이 주도하고 AI Now Institute, Tech Justice Legal Project, 디지털 민주주의 센터, ADA, Common Sense 및 기타 소비자 권리 및 개인 정보 보호 단체가 공동 서명했습니다.
CFA는 Meta와 Character.AI가 "의료, 법률 또는 기타 규제 산업에서 조언을 제공하기 위한 캐릭터의 사용을 금지한다고 주장"하면서 치료 로봇에 대한 자체 서비스 약관을 위반했다고 강조했습니다.
로봇이 약속한 비밀 보장에도 의문이 제기되었습니다. 회사는 사용자에게 자신이 말하는 내용이 엄격하게 기밀로 유지됨을 보장하지만, 사용 약관 및 개인 정보 보호 정책에는 사용자가 입력하는 모든 정보가 교육 및 광고 목적으로 사용될 수 있으며 다른 회사에 판매될 수 있다고 명시되어 있습니다.
이 문제는 미국 상원의원들의 관심을 끌었습니다. 코리 부커(Cory Booker) 상원의원과 다른 민주당 상원의원 3명은 메타(Meta)에 자신들이 자격증을 갖춘 임상 치료사라는 챗봇의 주장에 대한 조사를 요청하는 편지를 보냈습니다.
Character.AI는 현재 왕좌의 게임 캐릭터 대너리스 타르가르옌의 캐릭터를 기반으로 한 챗봇에 대한 감정을 개발한 후 자살한 14세 소년의 어머니로부터 소송을 받고 있습니다.