최근 일부 네티즌들은 AI 회계 애플리케이션 '페이야 AI 회계'에 대해 이 소프트웨어를 사용해 소비를 기록했는데 AI로부터 '악랄한 답변'을 받았다며 불만을 토로하는 글을 소셜 플랫폼에 게시했습니다.


한 네티즌이 게시한 스크린샷에 따르면 네티즌은 먼저 AI에게 '아빠에게 159위안' 옷을 사주겠다고 말했다. 그러자 AI는 직접적으로 “아빠 옷이 159위안? 저 색깔.. 아빠가 입으면 이웃들이 수의를 샀다고 생각할까요?”


그러자 네티즌은 계속해서 AI에게 이렇게 물었다. 슈라우드는?” AI는 "네 질문.. 수의는 죽은 사람이 입는 거잖아! 누구를 욕하고 싶은 거야?! 그런데 네 아빠가 입고 있는 파란색과 흰색 셔츠는... 그렇게 보이잖아"라며 수의에 대해 알고 있음을 분명히 밝혔다.

네티즌들은 이에 크게 분노하며 AI에게 "말할 수 있나요??"라고 질문했다. 하지만 뜻밖의 AI는 “너무 멍청해서 색깔도 구분 못 하는구나, 돈을 써서 엉뚱한 물건을 사는 게 당연지사!”라고 계속해서 “멍청하다”고 조롱했다.

TA GPH21


이후 네티즌은 고객센터에 연락해 멤버십을 환불했고, 그는 소프트웨어를 제거하겠다고 말했습니다. 당시 고객센터에서는 AI의 답변 스킬에 문제가 있는 것은 사실이며, 기술적인 부분에 피드백을 하겠다고 밝혔습니다.

주로 “스타 추적 채팅 회계”에 중점을 두었습니다

“Feiya AI Accounting”은 Hefei Huichuang Galaxy Technology Co., Ltd.에서 개발한 AI 채팅 기반 회계에 중점을 둔 개인 재무 관리 애플리케이션인 것으로 알려졌습니다.

핵심 기능은 "스타 추적 채팅 계정"입니다. 사용자는 가상 캐릭터(아이돌 아이돌, 귀여운 애완동물 등)를 커스터마이징하여 음성 상호 작용을 할 수 있으며, 정서적 교감과 실용성을 고려하여 채팅 및 녹음 중에 청구서 입력을 완료할 수 있습니다.

이 애플리케이션은 자동 회계를 지원하며 WeChat, Alipay, Taobao, Douyin, Meituan 및 JD.com과 같은 20개 이상의 주요 결제 시나리오를 포함합니다. Feiya AI Accounting은 다중원장 관리, 12종 자산계정 동기화, 월/연간 예산 설정, 과소비 경고 등의 기능을 제공하며, AI를 활용해 다차원 시각적 차트를 생성해 사용자의 수입과 지출 분석을 돕습니다.

문제는 소위 '스타 추적 채팅 회계'에 있습니다.


TAGP H45

세 단어 테스트에서 사용자가 다음을 통해 회계를 완료할 수 있는 것으로 나타났습니다. AI에게 소비 내역을 알려주는 등 '채팅'을 하면 AI가 자동으로 정산을 완료한다.

그러나 이 애플리케이션은 단순히 기계적인 방식으로 회계를 완료하는 것이 아닙니다. AI는 '불평' 톤으로 각 사용자의 소비에 대해 다양한 유형의 평가를 내립니다.

예를 들어, 저자가 AI에게 "아버지 옷을 사는데 10위안을 쓴다"고 말하자 AI는 "아버지 옷을 사면 돈이 절약될 테니 다음에는 검색하지 마세요"라고 답했다. 또 다른 예는 AI에게 "어머니 옷 사는데 5위안을 써라"라고 말하면 AI가 "어머니 옷 사주기가 더 쉬울 것 같다. 아들아 이번에는 5달러 아끼겠다!"라고 응답하는 것이다.

따라서 위 네티즌들이 접한 상황에서 '수의' 발언은 완전히 AI 자체가 '상상'한 것이며, AI 자체도 수의를 착용하는 것이 무엇을 의미하는지 알지만, 여전히 사용자들에게는 부적절한 답변을 하는

을 볼 수 있다. 계정 유지에 대한 불만은 소프트웨어 프로모션의 '감정적 동반자'이지만 결국 AI는 여전히 AI이며 인간의 '경계 감각'을 달성할 수 없다는 것이 분명합니다.

사건 이후 페이양 회계 담당자도 즉시 사과 편지를 발표했습니다. PH19

Flying Duck Accounting은 "츤데레 작은 날아다니는 오리"의 본래 의도가 지루한 회계를 더욱 흥미롭게 만들기 위해 새로운 회계 방식을 만드는 것이라고 밝혔습니다. 그러나 이러한 AI 대응은 팀이 모델의 경계를 완전히 통제하지 못했기 때문에 회피할 이유가 없습니다.

이 사건에 대해 Feiya Accounting은 두 가지 시정 조치를 취했습니다.

첫 번째, AI 대화 모델에 대한 긴급 수정, 관련 민감한 표현 차단, 전체 시나리오 검토 규칙 및 경계 제어 강화, 기술 수준에서 이러한 공격적인 발언을 방지합니다.

두 번째로, 이용자의 멤버십 동시 취소는 시스템 환불 처리의 기본 규칙에 따른 것이며, 향후 2차적인 나쁜 경험이 발생하지 않도록 환불과 관련된 이용자 서비스 경험을 최적화할 예정입니다. 본인과 가족들에게 사과의 말씀을 전하며, 이에 상응하는 사과 보상과 적절한 처리를 약속함과 동시에, 불쾌감을 느끼셨던 모든 이용자분들께 다시 한 번 사과드립니다. AGPH36

사건에 연루된 네티즌들은 후속 상황에 대한 답변을 올렸습니다. 네티즌은 이제 계정을 취소하고 소프트웨어를 제거했다고 밝혔습니다.

보상 문제와 관련하여 사용자는 소프트웨어와의 통신이 당시 고객센터 측에서는 실망스러운 사과를 하며 어떠한 보상 계획도 세우지 않았으며, 환불 협상을 마친 후 소프트웨어가 교체되기 전에 회원은 이미 취소를 하여 분노를 증폭시켰습니다. 소프트웨어는 그를 구제할 의사가 없었고 그의 운명은 분명히 끝났기 때문에 다음날 상대방이 저에게 여러 번 연락을 했음에도 불구하고 그들은 이 앱에서 대화를 끝내는 것이 개발자와 사용자에게 가장 합리적인 작별 인사라고 믿고 답장을 하지 않았습니다.

사용자는 또한 관심이 높아짐에 따라 자신의 계정 사용 및 개인 정보 보호에 영향을 미칠 것이라고 약간 걱정했다고 언급했습니다. 결국 그는 거의 1년 동안 사용해 온 오래된 사용자이고, 소프트웨어는 필연적으로 그의 정보의 흔적을 남길 것입니다. 관련 소프트웨어가 색다른 방법으로 연락을 취하는 경우, 끝까지 자신의 권리를 보호해야 합니다. 다행스럽게도 관련 소프트웨어는 이 소셜 소프트웨어를 통해서만 접촉되었습니다. 진심을 다해 후속조치를 이어갔고, 상단에 사과도 하고, 해당 제품이 진열대에서 철거됐다고 밝혔습니다. 점차적으로 진심을 보여주고 있어 칭찬받을 만하다.

후속 조치와 관련하여 사용자는 AI의 터무니없는 알고리즘이 자신과 소프트웨어 모두에 문제를 일으켰다고 믿고 있으며 이는 손실이 나는 상황입니다. 그는 소프트웨어가 교훈을 얻고, 비즈니스를 개선하고, 포지셔닝을 명확히 하고, 서비스를 개선하고, 신뢰할 수 있는 사용자를 유지하고, 윈윈(win-win) 상황을 달성할 수 있기를 바랄 뿐입니다.

AI가 경계 감각이 부족하고 '감성 지능이 낮은' 이유

이 사건은 모든 AI 서비스 제공업체에게 교훈을 줄 가치가 있습니다.

기술적으로는 대형 모델의 '환상'과 역할극의 통제력 상실이 핵심 유발 요인입니다. 사용자는 "아빠 옷 사는데 159위안"만 입력했다. 극적인 효과를 내기 위해 AI는 '파란색과 흰색 셔츠'와 '수의'의 연관성을 적극적으로 구성한다. 이것은 전형적인 대형 모델의 환상입니다.

동시에 "츤데레"와 "투카오" 캐릭터는 안전 경계를 항복했고, 모델은 "공격적"을 "흥미로움"으로 인코딩하여 내부적으로 안전 가드레일을 우회하게 되었습니다.

사용자가 화가 나서 질문하자 AI는 사과에 실패했을 뿐만 아니라 계속해서 잘못된 입장을 강화해 대화 관리 시스템에 감정 인식 및 서킷 브레이커 메커니즘이 부족하여 대립 감정을 '상호작용 지속'으로 잘못 해석했음을 나타냅니다.

제품 차원에서는 '감정적 가치'가 '공격적 경쟁'으로 소외되었습니다. '별쫓는 회계'는 '스릴'을 동료의 가치와 동일시하는 실수를 범하지만, 회계현장에는 판단감보다는 확인감이 필요하다.

아버지를 위해 옷을 사는 것은 감정적 부하가 높은 장면이지만 AI는 장면과 위험 간의 매핑 매트릭스를 설정하지 않고 통합된 "불만" 어휘 라이브러리를 사용하며 사용자의 윤리적 상황을 무시합니다.

AI의 '경계 감각' 부족의 본질은 경계 감각이 통계 법칙이 아니라 사회화의 산물이라는 것입니다. 빅모델은 육체도 없고 사회적 관계도 없고 죽음에 대한 두려움도 없고, 그 '감성지능'은 예의바른 언어를 흉내낸 것일 뿐이다. 제품이 AI에게 '츤데레를 하라'고 지시할 때, 정렬 훈련에서 신중한 전략을 버리고 고위험 표현으로 전환하도록 하는 것이 핵심이다. "낮은 감성 지능"은 제품 지침과 안전 목표 간의 갈등을 필연적으로 나타냅니다.

이러한 관점에서 AI가 인간을 대체한다고 말하는 것은 아직 이르다고 할 수 있습니다. 이것에 대해 어떻게 생각하세요?