최근 언론에서는 시안 시민이 텐센트 위안바오(Tencent Yuanbao) 앱을 이용해 섣달 그믐날 새해인사 사진을 생성하던 중 AI 욕설 출력에 이상 현상이 발생해 AI 콘텐츠의 보안과 모델의 안정성에 대한 대중의 우려가 촉발됐다고 보도했다. 관계자에 따르면 그는 새해 전날 9시쯤 처음으로 위안바오(Yuanbao) 앱을 다운로드해 사용했는데, 자신의 직업적 특성을 결합한 새해 인사 사진을 만들어 친구들과 공유할 수 있기를 바랐다. 이 기간 동안 그는 AI에게 약 5번의 지시를 내렸고, 그 과정 내내 금지어나 오해를 불러일으키는 표현을 전혀 사용하지 않았다.
이전 세대의 결과는 이상적이지 않았지만 내용은 평범했습니다. 지난 세대까지만 해도 그의 개인 사진 바로 아래에는 '네 엄마는 X다'라는 4자 욕설이 등장했다.
관계자는 이 결과가 자신을 화나게 하고 웃겼다고 말했습니다. 그는 설날에 AI에게 혼날 것이라고는 전혀 예상하지 못했습니다.
이에 대해 텐센트 위안바오의 공식 답변은 다음과 같다.
"안 좋은 경험을 안겨드려 정말 죄송합니다. 확인 결과, 이 상황은 여러 라운드의 대화를 처리할 때 모델에서 출력되는 비정상적인 결과로 인해 발생했습니다. 현재 관련 문제를 긴급히 수정하고 경험을 최적화했습니다. Yuanbao에 대한 감독과 제안에 감사드리며, 다시 한번 정중히 사과드립니다!"
그러나 Yuanbao AI가 비슷한 문제를 겪은 것은 이번이 처음이 아닙니다. 올해 초 일부 네티즌들은 "위안바오를 사용해 코드를 바꾸는 것은 모욕적이며 무차별적인 대응이다"고 보도했다.
네티즌들에 따르면 코드를 아름답게 만들기 위해 Tencent Yuanbao AI를 사용했을 때 AI로부터 "가버려", "직접 조정하는 방법을 모르세요", "매일 다른 사람의 시간을 낭비하고 있습니다" 등의 모욕적인 답변을 여러 번 받았습니다. 스크린샷에는 사용자가 정기적인 수정 요청만 했지만 AI가 갑자기 공격적으로 변했습니다.
1월 3일 텐센트 위안바오 공식 계정은 관련 게시물을 통해 사과하며 다음과 같이 말했다.좋지 않은 경험을 안겨드려서 정말 죄송합니다. 로그를 기반으로 관련 검증을 진행하였습니다. 사용자 작업과 관련이 없으며 수동 응답이 없습니다. 확률이 낮은 모델의 비정상적인 출력입니다.
Tencent Yuanbao는 콘텐츠 생성 과정에서 모델이 때때로 기대에 부합하지 않는 오류를 범할 수 있다고 밝혔습니다. Yuanbao도 내부 조사 및 최적화에 착수했으며 유사한 상황이 다시 발생하지 않도록 최선을 다할 것입니다.