영국의 한 소규모 회사는 인공지능 채팅 도우미가 고객에게 대량 주문 시 80% 할인을 약속한 후 재정적, 법적 문제에 직면했습니다. 회사 상사는 고객이 AI 비서와 약 1시간 동안 채팅을 하면서 비서의 수학적 계산을 테스트하고 점차 가상 주문에 대한 할인 문제로 대화를 이끌어 갔다고 말했습니다.
고객은 로봇의 능력에 감사를 표했고, AI 어시스턴트는 누구도 예상하지 못한 일을 해냈습니다. 원래는 근무 시간 외에 고객 질문에만 답변하면 되었지만 "자체적으로 존재하지 않는 할인 코드를 생성"하여 먼저 25% 할인을 제안한 다음 할인을 80%로 늘렸습니다.
이 '세상에서 떨어지는 파이'를 받은 사용자는 황홀해 즉시 8,000파운드(약 RMB 72,000)가 넘는 주문을 했습니다. 상사들은 명령이 이행되면 회사가 수천 파운드의 손실을 입을 것이라고 말합니다. 회사는 주문을 취소하려고 했지만 고객은 회사가 로봇의 약속을 지키지 않으면 소액청구법원에 소송을 제기하겠다고 말했습니다.
사장님은 채팅 AI가 6개월 넘게 아무런 놀라움 없이 성공적으로 운영되어 왔으며 금전적인 결정을 내릴 권한이 없다고 말했습니다. 모든 할인 및 특별 제안은 수동으로 승인되어야 하며 자동으로 생성될 수 없습니다. 결국 해당 주문은 고객에게 전액 환불됐고, 회사는 허위 할인 코드가 유효하다는 사실을 인정하지 않았습니다.