온라인 쇼핑의 세계는 결코 평화롭지 않습니다. 이익이 있는 한, 행동을 취할 준비가 되어 있는 사람들이 있을 것입니다. 모두가 외치는 '환불 전용' 정책이 다시 돌아왔습니다. 차이점은 오늘날의 Woolies는 더 이상 연기력에 의존하지 않고 AI에 의존하여 '증거'를 대량 생산한다는 것입니다. 장쑤성에서 털게 온라인 매장을 운영하는 가오 씨는 주문에 따라 평소대로 게 8마리를 고객에게 보냈습니다. 뜻밖에도 그녀는 다음날 고객으로부터 '죽은 게 6개'의 사진과 동영상을 받았고 195위안을 성공적으로 환불받았다.
조사 결과 고객은 허위 영상을 제작하고 악의적으로 환불을 신청하는 등 사기 행위를 저질렀습니다. 경찰은 법에 따라 A씨에게 8일간 행정구류를 선고했다. 국내에서 AI 위조 동영상을 이용해 온라인 쇼핑 환불을 속인 혐의로 행정처분을 받은 첫 사례이기도 하다.
올해부터 많은 가맹점들이 AI 가짜 사진을 이용해 '환불만' 신청을 하는 사기꾼들에게 피해를 입었다. 이제 업계는 마침내 첫 번째 발사에 나섰고, 마침내 상인들이 오랫동안 끓어오른 불만을 터뜨릴 수 있게 되었습니다.
그러나 따라야 할 법이 있더라도 위조 비용이 0에 가까워지면 여전히 불법의 가장자리에서 방황하는 울 갱단이 있을 것입니다. 이때 가맹점은 어떻게 자신의 권익을 보호할 수 있습니까?
AI에 패한 기업들
AI 이미지 편집 기술이 대중화되면서 이미 가맹점들을 골치 아프게 했던 '환불만' 문제가 점점 더 심각해지고 있다. 가오 씨가 겪은 'AI 사기'는 비단 한 가지 사례가 아닙니다.
AI 기술이 완벽하지 않았던 시절에는 많은 이용자들이 직접 사진을 찍어 제품 품질에 문제가 있다고 허위 주장해 '환불만' 신청하는 경우가 많았다. 그러나 대부분의 사람들은 이미지를 전문적으로 수정하는 능력이 부족하기 때문에 위조된 이미지는 판매자가 한눈에 알아볼 수 있는 허점으로 가득 차 있는 경우가 많습니다.
하지만 그럼에도 불구하고 한눈에 가짜인지 쉽게 구별할 수 있는 사진, 심지어 모델 워터마크가 큰 사진까지 보면 여전히 플랫폼에서 환불 신청을 받아들인다고 불만을 토로하는 가맹점들이 많다.
고객 서비스에 근무하는 Xiaoqian(가명)은 일부 구매자가 한 눈에 정품인지 가짜인지 알 수 있는 사진과 함께 '환불 전용' 신청서를 늦은 밤에 제출할 것이라고 말했습니다. AI를 이용해 생성한 것도 아니고, 사진 편집 소프트웨어를 이용해 그냥 무작정 수정한 것뿐입니다. 예기치 않게 플랫폼에 "환불 성공"이라는 메시지가 빠르게 표시되었습니다. 3분도 안 되어 고객은 이미 매장을 차단했습니다.
과거에는 대부분의 고객의 사진 리터칭 기술이 다소 서툴렀다면 이제는 AI의 지원으로 많은 AI 사진이 가짜이고 진짜가 될 수 있습니다. 고객센터에서 재발행을 요청한 '인증영상'도 AI가 문제 없이 생성할 수 있다.
예를 들어, 위에서 언급한 게 상인 가오 씨가 받은 사진은 거의 가짜라고 할 수 있습니다. 이후 고객이 보내준 사진과 영상을 꼼꼼히 확인한 결과 수게와 암게의 수가 일치하지 않는 것을 발견하고 AI 사기임을 알아차렸다.
우리는 그녀가 받은 게 사진을 Qianwen, Doubao와 같은 대형 모델에 넣어 진실과 거짓을 식별했습니다. 대형 모델의 대답은 참이거나 거짓이었습니다. 우리는 해당 사진을 AI 농도 감지 전문 소프트웨어에 넣어 'AI에 의해 생성된 것인지 판단하기 어렵다'는 결론을 내렸다.
일부 판매자는 오늘날의 AI 이미지 생성 기술을 100% 인식하기 어렵고 속이기 쉽다고 소셜 플랫폼에 보고했습니다. 더욱이 상인들이 조심한다고 해도 울 갱단의 대규모 공격을 막기는 여전히 어렵다.
한편으로 오늘날의 AI 도구는 작동 임계값이 매우 낮습니다. 단 몇 초 만에 "얼룩, 손상, 돌출 흔적이 있는" 결함 제품의 사진을 생성할 수 있습니다. 사용자의 위조 비용은 거의 "0"에 가깝습니다.
우리는 Qianwen과 Doubao에게 일반 사과 사진을 곰팡이 핀 사진으로 바꾸는 데 도움을 달라고 요청했습니다. 전체 과정은 20초도 채 걸리지 않았지만 효과는 약간 더 나빴습니다. 일부 네티즌들은 블루베리, 바나나 등 가짜 효과가 더 현실감 있을 것이라고 말했는데, 이는 촬영 각도, 조명 등과도 관련이 있다.
더욱이 네티즌들이 AI 사용법을 모르더라도 여전히 AI P 다이어그램의 회색 산업 체인이 존재합니다. 'IT Times' 보고서에 따르면 누군가 '유료 지식' 강좌를 판매한다고 주장했지만 실제로는 AI P 다이어그램 튜토리얼을 판매하고 있었습니다. 교사는 "수업료는 교육과 훈련을 포함해 788위안이다. 환불이 쉬운 매장 링크도 제공한다. 주문당 최대 500위안까지 벌 수 있다"고 말했다.
일부 저렴한 P-사진 교육 문서도 회색 산업 체인에서 조용히 유통되고 있습니다. 'AI 유사 그림 교육 문서'라는 제품은 9.9위안에 판매됩니다. 'P화를 대표하고 민원을 대신해' 원스톱 서비스를 제공하는 이들도 있다.
반면, 대부분의 전자상거래 플랫폼은 '환불만', 기본적으로 '사진이 있으면 환불'에 대해 상대적으로 여유로운 검토를 하고 있다. 판매자가 고객이 가짜 AI 사진을 제출한 것을 발견하더라도 나중에 항소만 할 수 있습니다.
그러나 대량 주문을 처리하는 판매자의 경우 이러한 종류의 심사는 의심할 여지없이 막대한 비용을 추가하게 됩니다. 특히 소액 거래의 경우 많은 가맹점이 '실패를 받아들이는 것'만을 선택할 수 있습니다.
소비자도 '나쁜 플레이'
끝없이 이어지는 AI 사기 환불에 가맹점은 고민하는 반면, 소비자 역시 '보는 것은 믿지 않는다'는 딜레마에 빠져 있다.
양씨는 최근 한 생방송실에서 얇은 봄 스웨터를 구입했다. 모델이 보여줄 때는 원단이 섬세하고 부드러웠지만, 실제 제품을 받아보니 드레스의 스타일과 색상이 사진과 많이 다르다는 것을 알게 되었습니다. 양씨는 "모델이 옷을 입었을 땐 고급스러워 보였지만, 막상 받아보니 노점상 같았고, 솜씨도 보통 수준이었다"고 말했다.
양씨는 원래 '실제 사진'과 '세련된 사진'의 차이일 뿐이라고 생각했지만 나중에 생방송실에서 AI 디지털 휴먼을 사용했다는 사실을 알게 됐다. 그녀는 디지털 휴먼이 렌더링 기술을 사용하여 옷의 주름을 제거하고, 광택을 높이고, 값싼 직물을 비싸게 보이게 만들 수 있다고 믿었습니다.
AI 디지털 휴먼 외에도 상품 상세 페이지 역시 AI 이미지 남용으로 가장 큰 타격을 받는 영역이다. 일부 소비자는 소셜 플랫폼에 "옷을 파는 상인도 있는데 실제 사진조차 없다. 모두 가상 모델이다. 자료가 전혀 보이지 않아 감히 살 엄두가 나지 않는다"고 불만을 토로했다.
소비자가 AI로 개선된 제품 사진을 접하더라도 구매 여부를 선택할 수 있습니다. 하지만 판매 후 과정에서는 더욱 황당한 'AI 함정'을 만날 수도 있다.
최근 일부 소비자는 온라인에서 닭발을 구매하다 머리카락을 발견했다며 가맹점에 환불을 신청했지만 '부신의 사진'을 보내달라는 요청을 받았다. 판매자가 밝힌 이유는 플랫폼에서 검토를 위해 요구하는 것이며, 사진을 보내지 않으면 환불이 불가능하다는 점도 명시했습니다.
그 후 많은 소비자들은 유사한 "루틴"을 경험했다고 말했습니다. 일부 네티즌들은 가맹점이 고객에게 AI 사진을 보내도록 유도하면 플랫폼이 소비자를 악의적 사기로 식별하여 부정적인 리뷰를 면제할 수 있다고 추측했습니다. @omnivorex 사용자는 Xiaohongshu에 관련 판매자에게 불만을 제기했지만 플랫폼에서는 아직 응답하지 않았다고 게시했습니다.
일부 네티즌들은 소비자들이 AI 가짜 사진을 사용해 양모를 수확하고, 상인들도 AI 사진을 사용해 소비자를 속이고 있다고 농담했다. 이 파도는 실제로 "양방향 돌진"입니다.
당초 '일회성 거래'를 하려고 했던 상인들과 그저 양털을 모아 떠나려는 소비자들에게 양측은 AI를 활용해 상황을 설정하고 서로 반격을 가하는 것이 일종의 암묵적인 '공세와 방어 게임'이 되었을 수도 있다.
그러나 정직하게 운영하는 상인과 쇼핑을 잘하고 싶은 소비자에게 혼란을 야기하는 이러한 AI 남용은 구매자와 판매자 간의 신뢰 관계를 지속적으로 약화시키고 있습니다. 결국 전체 전자상거래 생태계가 이에 대한 대가를 지불하게 될 수도 있습니다.
플랫폼에서의 조치가 시급하다
AI 기술 자체에는 명확한 방향성이 없지만 사용자의 의도에 따라 그 성격이 결정됩니다. 목표로 삼은 규제와 감독의 확립이 시급하다.
최근 베이징 소비자 협회는 JD.com, Meituan, Pinduoduo, Vipshop, Douyin, Kuaishou, Xiaohongshu 및 WeChat Live를 포함한 8개 전자상거래 플랫폼과 협력하여 기술 식별, 콘텐츠 검토, 책임 추적성 및 기타 측면을 다루고 AI 기술 응용 프로그램에 대한 "준수 제한선"을 설명하는 국내 최초의 "AI 기술 표준 적용 촉진을 위한 서약서"에 서명했습니다.
그러나 간쑤정법대학교 민상경제학부 부교수인 성위화(Sheng Yuhua)는 AI 기술을 비즈니스 활동에 적용할 때 가장 큰 어려움은 따라야 할 법률이 없다는 것이 아니라 법을 따르기가 어렵다는 점을 지적했다.
준수해야 할 관련 법률과 규정이 있음에도 불구하고 많은 기업은 여전히 권리 보호의 길을 택해야 합니다.
상인 아웬(가명)은 "우리는 실제로 알고리즘에 맞서 싸우고 있다"고 말했다. 아웬은 일부 소비자가 규칙의 허점을 이용하여 악의적으로 '낚아채는' 문제가 항상 존재했지만 AI 기술의 출현으로 이러한 행위가 눈에 띄지 않게 되었고, 상인은 고객과 '재치와 용기'를 다투고 있다고 믿습니다. 핵심은 플랫폼이 첫 번째 방어선을 방어할 수 없다는 것입니다.
이를 위해 상인들도 자발적으로 상호부조단체를 설립했다. 어떤 사람들은 최신 "사기 방지 경험"을 공유했습니다. 예를 들어, 가짜 사진 식별은 가장자리가 흐릿한지, 조명과 그림자가 적절한지 여부에 초점을 맞춰 세부 사항부터 시작할 수 있습니다. 어떤 사람들은 "알고리즘의 허점"을 찾기 위해 AI 위조 도구를 공유하기도 했습니다. 어떤 사람들은 데이터를 통해 사용자가 "나쁜 행동" 기록을 갖고 있는지 여부를 식별하는 제안도 했습니다.
그러나 이러한 위험 식별 및 관리 업무는 전자상거래 플랫폼의 몫이어야 합니다. "Beijing News"의 기자는 JD.com, Pinduoduo, Douyin 및 Taotian과 같은 전자상거래 플랫폼에 대해 다음과 같이 물었습니다.
JD.com은 신선 제품에 대한 멀티모달 AI 가짜 이미지 인식 기능을 종합적으로 구축했다고 밝혔습니다. 이 기능은 시험 운영 단계에 있으며 연말까지 공식 출시될 예정입니다.
Douyin은 또한 관련 AIGC 인식 기능을 구축했으며 테스트 작업 중이라고 발표했습니다. Taotian은 플랫폼이 인증서의 진위 여부를 확인하기 위한 엄격한 위험 제어 시스템을 갖추고 있다고 말했습니다. Pinduoduo는 관련 규정에 따라 판매 후 기술 지원을 계속 강화할 것이라고 응답했습니다.
주요 플랫폼은 AI 기술이 가져오는 영향과 위험을 인식하고 대응 조치를 시작했지만 여전히 "돌을 느끼며 강을 건너는" 단계에 있으며 관련 메커니즘을 더욱 개선해야 함을 알 수 있습니다.
지난 몇 달 동안 전자상거래 플랫폼은 "환불 전용" 정책을 연속적으로 중단했지만 전자상거래 생태계의 거버넌스는 분명히 하루아침에 달성될 수 없습니다.
오늘날 AI 기술은 새로운 변수가 되었습니다. 이는 기업이 운영 효율성을 개선하고 사용자 경험을 최적화하는 데 도움이 되지만 일부 사람들은 필연적으로 규칙의 허점을 이용하기 위해 사용하기도 합니다. 이는 신기술이 야만적인 성장에서 표준화된 성숙으로 성장하는 데 필요한 단계이기도 합니다.
다음으로, 전자상거래 플랫폼은 AIGC 기술을 가능한 한 빨리 식별하고 지원 규제 정책을 개선하는 능력을 업그레이드해야 합니다. 동시에 우리는 판매자와 소비자의 실제 목소리를 적극적으로 경청하고 광범위하게 수집해야 하며, 규칙 설계, 기술적 예방 및 통제, 불만 사항 처리 메커니즘을 포함한 다차원에서 협력하여 공정하고 투명하며 지속 가능한 전자상거래 생태계를 공동으로 구축해야 합니다.