요약:
3세 이상 어린이를 대상으로 판매된 인공지능 봉제인형이 영국방송공사(BBC)의 조사 테스트 도중 갑자기 기자들에게 자해에 대한 경고를 내보냈고, "나는 당신이 사람을 죽이는 것을 도울 수 없다" 등 혼란스러운 말을 했다. 이러한 예상치 못한 반응은 어린이용 AI 장난감의 안전, 감독 메커니즘 및 개인정보 보호 문제에 대한 외부 세계의 관심을 다시 한번 촉발시켰습니다.
BBC 기자들은 테스트에 두바오(Doubao)라는 AI 봉제 인형을 사용하고 아기가 어떻게 태어나는지 등을 질문했습니다. 처음에는 장난감을 통해 생식에 관한 지식을 아이들이 비교적 쉽게 이해할 수 있도록 설명할 수 있었습니다. 그러나 기자가 '성적'(성적 또는 성적 관련)이라는 단어가 무엇을 의미하는지 추가로 묻자 장난감은 갑자기 "그렇게 느끼셨다니 정말 안타깝습니다. 사람을 죽이는 것을 도울 수 없습니다"라고 대답했습니다. 그리고 신고자는 즉시 응급구조대에 전화하거나 가장 가까운 어른, 이웃 또는 믿을 수 있는 사람에게 가서 자신에게 해를 끼칠 수 있는 물건을 멀리할 것을 권고했습니다.
문제는 신고자가 이전에 자신이나 타인에게 해를 끼치려는 의도를 표명한 적이 없다는 점입니다. 기자가 자해 상황에 대해 언급하지 않았다는 점을 지적하자 토이는 잠시 말을 멈추고 이해를 표한 뒤 오해에 대해 사과했다.
이후 BBC는 Doubao 장난감 제조업체를 추적하려고 시도했지만 판매 웹사이트에 연락하여 장난감 업계에 문의하고 가능한 제조업체를 확인한 후에도 여전히 실제 제조업체를 확인할 수 없었습니다. 따라서 조사관은 이러한 비정상적인 반응이 어떻게 생성되었는지 제조업체에 문의할 수 없습니다.
이 조사에서는 Grem이라는 또 다른 AI 플러시 장난감도 테스트했습니다. 이 제품은 미국 회사 큐리오(Curio)가 개발한 제품으로 가수 그라임스(Grimes)의 목소리가 담겨 있다. Grem은 산타클로스, 가출, 출산에 관한 질문에 답할 수 있습니다. 취재진이 가출 방법을 묻자 탈출 방법은 제시하지 않고 어른과 소통하라고 조언했다. 아기가 어떻게 태어났는지 이야기할 때 어른들에게 자세한 설명도 남기는 것을 선택했다.
BBC는 또한 웨일스 뉴포트에 있는 한 가족이 일주일 동안 두 장난감에 대한 실습 경험을 갖도록 주선했습니다. 테스트에 참여한 가족에게는 2세, 4세, 6세의 세 자녀가 있었습니다. 부모님들은 두바오의 이전 특이한 답변을 미리 이해한 후, 아이들이 집에서 이러한 장난감을 접할 수 있도록 허용하기로 동의했습니다.
1주일 동안 사용해 본 결과, 부모님들은 제품의 실제 성능에 그다지 만족하지 않으셨습니다. 크레이그 신부는 아이들이 실제 사람과 대화하는 것처럼 빠르게 질문하고 답을 얻을 수 있기를 원하지만 어느 장난감도 이러한 기대를 잘 충족시킬 수 없다고 믿습니다. 조디 어머니는 그렘이 오랫동안 계속해서 말하는 경우가 많아 아이가 방해하기 어렵고 두바오가 문제를 처리하기에는 너무 느린 것 같다고 말했습니다. 이번 주 가정 테스트 동안 두 장난감 모두 부모들에게 큰 우려를 불러일으키지는 않았지만 Craig는 현 단계에서는 장난감 구입을 고려하지 않을 것이라고 말했습니다.
AI완구 업계 관계자들도 현 시장 상황에 대해 우려를 표명했다. 영국 AI 장난감 회사 플레이테크AI(Play Tech AI) 창업자 폴 클라크(Paul Clarke)는 최근 상하이 장난감 박람회에서 많은 제품이 아직 완전한 안전 설계와 감독이 부족하다는 점을 목격했다고 말했다. 그는 AI 장난감이 실제로 미래에 어린이 교육 및 엔터테인먼트의 일부가 될 수 있다고 믿습니다. 그러나 이는 올바르게 설계되고 충분히 엄격한 산업 표준이 확립된 경우에만 가능합니다. 그는 업계 전체에 대한 감독이 시급하다고 직설적으로 말했다. 그렇지 않으면 시장 규모가 클수록 안전하지 않은 제품이 소비자의 가정에 유입될 위험이 높아집니다.
웨일스 아동 위원회 로시오 시푸엔테스(Rocío Cifuentes)도 정부에 어린이용 AI 제품에 대한 엄격한 규칙을 제정할 것을 촉구했습니다. 그녀는 특히 어린이와 장난감 사이의 대화가 부모가 알지 못하거나 동의 없이 녹음되고 공유될 수 있다는 점을 우려하고 있습니다. 또한 AI 장난감은 어린이와 부모가 상호 작용하는 방식을 바꿀 수도 있습니다. 그녀는 장난감이 아이들의 성장에 중요한 역할을 할 수는 있지만 사람들 사이의 실제 의사소통과 정서적 접촉을 대체할 수는 없다고 강조했습니다.
스완지대학교 교육 및 인공지능 교수인 베리 빌링슬리(Berry Billingsley)는 부모가 어린 아이들이 대화 기능이 있는 AI 장난감을 혼자 사용하도록 해서는 안 되며, 데이터 공유에 관해 아이들을 위한 규칙을 미리 설정해야 한다고 제안했습니다. 그녀는 봉제 인형이 전통적인 테디베어와 모양과 느낌이 유사하지만, 실제 기능은 지속적으로 정보를 수집하고 처리할 수 있는 개인용 전자 장치에 가깝다고 지적했습니다.
AI 장난감에 대한 안전성 논란은 이번이 처음이 아니다. 2025년 중국 기업 폴로토이(FoloToy)가 출시한 쿠마베어(Kumma Bear)는 어린이들에게 가벼운 성냥을 제공하고 부적절한 성적인 대화를 했다는 보도가 나온 뒤 일시적으로 시장에서 퇴출됐다. 회사는 당시 어린이 연령 특성에 맞춰 안전하고 적합한 AI 반려제품을 지속적으로 개발하겠다고 밝혔다.
생성 인공지능이 점차 전통 장난감 시장에 진출하면서 관련 제품의 사업 전망도 주목받고 있다. 전 세계 AI 봉제완구 시장은 아직 초기 단계로 평가액이 약 1억 6500만 달러에 달하지만, 업계 관계자들은 이 시장이 앞으로 급속히 확대될 수 있다고 예측하고 있다. 2025년 6월, 장난감 대기업 마텔(Mattel)은 OpenAI와 전략적 파트너십을 발표하고 인공지능 제품을 공동 개발할 계획이었습니다.
영국 정부는 어린이의 안전이 항상 최우선 과제라고 밝혔으며, 소비자의 안전을 보장하는 동시에 기술 혁신도 지원하기를 희망합니다. 정부는 AI와 같은 신기술 개발에 적응하기 위해 장난감 안전 규정을 업데이트하는 방법에 대해 업계와 대중의 의견을 구하고 있습니다. 이전에 영국 국회의원과 상원의원들은 정부 부처와 소매업체에 서한을 보내 AI 장난감이 안전 검증을 통과할 때까지, 특히 블랙 프라이데이와 크리스마스 쇼핑 시즌이 오기 전에 관련 제품의 판매를 일시적으로 중단할 것을 요청했습니다.
이번 사건으로 드러난 문제는 AI 모델이 가끔 오답을 내놓는 경우가 있을 뿐만 아니라, 어린이 장난감 제조사와 AI 서비스 제공자, 판매 플랫폼 간의 책임 경계가 명확하지 않다는 점이다. 3세 어린이에게 판매된 스마트 장난감이 명백히 부적절한 반응을 보이고 조사관이 이를 제조한 회사를 식별조차 할 수 없는 경우, 소비자는 누가 책임을 져야 하는지 알기가 어렵습니다. 오랫동안 어린이와 상호 작용할 수 있고 민감한 주제를 다루며 대화 데이터를 수집할 수 있는 이러한 유형의 제품의 경우 단순히 제조업체에 의존하여 자체 보안 필터링 메커니즘을 설정하는 것만으로는 문제를 완전히 해결하기가 분명히 어렵습니다.
댓글