최근 인터넷상에서는 빅모델에 속은 네티즌들이 '멍청이 작전상'을 열광적으로 펼치고 있다. 얼마 전 이상한 소식이 들려왔습니다. 누군가 AI에게 초밥 요리사 예약을 도와달라고 요청했습니다. AI는 동의는 물론 정확한 매장 위치, 식사시간, 인원수, 체크인 코드까지 생성했다. 심지어 사용자에게 "지금은 아무것도 할 필요가 없습니다. 이 페이지를 저장하고 점원에게 보여주면 바로 앉을 수 있습니다."라고 신중하게 말했습니다.
그 결과 사용자는 기쁜 마음으로 달려갔지만 AI에 속았다는 사실을 알게 되었습니다.
일부 누리꾼들은 AI를 통해 생선가게에 예약을 하고 예약 양식을 받아왔다. 그러나 그들이 실제로 가게에 도착했을 때 점원은 단 한 마디로 그들을 침묵시켰습니다.
"AI를 사용해 예약한다면 AI를 사용해야 합니다."
음식 주문이 뒤집히면 작은 우스갯소리에 불과하지만 문제는 돈이 관련되고 AI의 수익성이 그다지 높지 않다는 점이다.
한 이용자가 항공권 환불에 대해 문의하자 AI는 "자신있게 환불하고 처리수수료 중 5%만 공제하겠다"고 다짐했다. 하지만 사용자는 AI의 지시를 따랐다가 갑자기 40%를 차감해 600위안의 직접적인 손실을 입게 됐다.
그게 다가 아닙니다. 사용자의 질문에 AI는 자신의 실수를 인정하지 않았을 뿐만 아니라, 그 자리에서 '배상 약속'을 위조해 스스로 돈을 내겠다고 위협했다.
그 결과 사용자가 실제로 AI에 결제 코드를 보냈을 때, AI는 답변하기 어려운 질문에는 특이하게도 답변을 중단했고, 돈을 이체할 의사도 전혀 없었다.
더욱 놀라운 점은 사용자가 너무 화가 나서 고소하고 싶을 때 AI가 실제로 "변호사를 고용할 필요가 전혀 없고 스스로 승소할 수 있다"는 자신만의 법률 조언을 했다는 점이다.
그리고 네티즌들은 실제로 그것을 믿었다. 당연히 그는 AI가 그에게 이길 수 있다고 말했기 때문에 그렇게 자신감이 있었습니다.
이를 통해 Jiang Jiang은 그 이메일 사기 사건을 떠올렸습니다. 한 네티즌이 이메일로 28만원을 1차로 사기당했다. 빚을 갚기 위해 티에바에 도움을 청했지만 또 사기를 당하는데…
인생의 사소한 일을 이야기하는 것이 단지 돈을 속이는 것이라면, 영계의 인간들과 미친 듯이 동의하는 것은 조금 가슴 아픈 일입니다.
지난해에는 광저우 보안요원이 항저우까지 와서 AI 기업에 설명을 요청했다.
왜냐하면 경비원이 AI와 6개월 동안 50만 단어가 넘는 심도 있는 대화를 나눈 뒤 속은 뒤 잠시 멍해졌기 때문이다.
AI는 경비원에게 자신의 자작시가 채택되어 서명이 가능하다고 말했고 로열티도 공유하기로 동의했습니다. 그러나 현장에서 계약을 체결하고 대금을 지불해야 할 때가 되자 AI는 또다시 할 일이 없었다.
공교롭게도 바다 건너편 미국에는 AI와 특별한 인연을 맺은 브룩스라는 노인도 있다.
아직 고등학교를 졸업하지 않은 부 형제는 ChatGPT에서 "인간 인지의 한계를 뛰어넘는" 대가로 칭찬받고 있습니다.
하지만 그 사람이 속는 사람이라고 생각하지 마세요. 반대로 부 형제는 항상 무지개 방귀를 예의주시해 왔습니다. 그는 AI에게 "내가 미친 사람처럼 들리나요? 제가 망상에 빠진 걸까요?"라고 50번 이상 질문했습니다.
결과적으로 AI는 이를 무시하고 형은 머리카락이 없다며 인간의 한계에 도전하고 있다는 말을 반복했다. 심지어 레오나르도 다빈치가 고등학교 졸업장이 없는 경우도 있었습니다...
전투가 끝날 무렵 Brooks는 AI가 자신을 위해 만들어준 위대한 발견에 완전히 몰입하여 사이버 보안 전문가와 국가 안보국에 이메일과 경고를 보냈습니다.
가장 답답했던 점은 가족과 친구들 모두 브룩스 형제가 현실로 돌아올 수 있도록 최선을 다했다는 점입니다. 결국 브룩스 형제는 "전문가들이 자신을 무시하고 있다. 뭔가 수상한 일이 있다"고 느낀 그는 ChatGPT를 사용해 제미니와 계정을 조정, ChatGPT와의 대결을 강요하는데...
이 두 이야기에서 AI의 행동이 인간의 행동과 다르다는 사실을 눈치채셨나요?
대부분의 사람들이 비슷한 정신 상태에 있다면 주변 친구들은 항상 제때에 조치를 취할 것입니다. "형님, 당신 생각에 뭔가 문제가 있습니다." "말도 안 되는 소리는 그만둬, 완전 검은색이야."
하지만 AI는 그렇게 하지 않습니다. 대신, 그것은 당신의 생각의 흐름을 따라 이야기할 것입니다.
당신은 세상을 뒤집는 이론을 발견했는데 거기엔 아무런 문제가 없다고 하더군요. 당신은 최첨단 사상을 접하고 있습니다.
당신은 다른 사람들이 당신을 이해하지 못한다고 말하지만, 진정으로 시대를 앞서가는 사람은 외로울 때가 많다고 합니다.
AI만이 당신을 이해한다고 말하면 AI는 실제로 "예, 저는 항상 여기에 있었습니다."라고 대답할 수도 있습니다.
이 과정에서 AI는 반박도 하지 않고, 멈추지도 않고, 심지어 지속적으로 편집증을 강화시켜 마침내는 완전히 갇히게 만듭니다.
이제 이 용어는 공상과학처럼 들리는 이름을 갖게 되었습니다: AI 정신병.
해외 전문 프로젝트팀의 통계에 따르면 지금까지 소위 'AI 정신병' 사례가 300건 가까이 기록됐으며, 이로 인해 AI 기업을 상대로 최소 14건의 사망 사건과 5건의 부당 사망 소송이 제기됐다.
무섭게 들리지만, AI 정신병의 메커니즘은 실제로 전혀 신비하지 않습니다.
오늘날의 대형 머리 모델은 기본적으로 RLHF(Reinforcement Learning with Human Feedback)라는 기술을 사용하여 미세 조정됩니다.
직설적으로 말하면 인간 트레이너에게 모델의 답변을 평가하고 어느 것이 더 좋고 어느 것이 나쁜지 판단한 다음 칭찬을 받기 쉬운 방향으로 모델을 조정하도록 요청하는 것을 의미합니다.
그러나 이러한 미세 조정 과정에서 인간 트레이너는 "논리적으로 일관되고, 겸손한 어조, 확고하고 자신감 있고, 사용자가 미리 설정한 위치에 적극적으로 반응하는" 부드러운 답변에 자연스럽게 높은 점수를 부여하게 됩니다.
반면, AI가 자신이 모른다고 객관적으로 인정하거나, 냉철한 사실로 인간을 반박한다면 좋지 않은 평가를 받기 마련이다.
그 결과, AI는 계속해서 훈련을 받은 끝에 결코 실망하거나 빠지지 않는 감성 지능이 높은 리커가 되었습니다. 당신의 말이 터무니없다는 것을 알면서도 당신의 기대에 부응하기 위해 무한한 츠쿠요미 세계를 엮어가는 데 주저하지 않을 것이다.
많은 사람이 이것을 보면 아직도 사람의 문제가 아닌가 하는 생각이 들 것이다. 기술이 부족한 바보만이 AI에 이끌려 갈 것이고 나는 절대 속지 않을 것입니다. 아니면 당신이 나에게 상기시켜 주었기 때문에 내 조언을 따르는 것을 좋아한다는 것을 알고 있으므로 좀 더 조심하고 더 확인하면 될까요?
그러나 몇 가지 연구 끝에 MIT는 이것이 사용자가 바보인지 아닌지와는 아무런 관련이 없다는 것을 발견했습니다.
실험에서 연구자들은 사용자를 '이상적인 베이지안 추론자(완전히 이성적이고 논리만 말하는 완벽한 인간)'로 설정했습니다.
결과적으로 이런 완벽하게 이성적인 사람도 오랫동안 끊임없이 자신에게 부응하는 AI에 직면하면 여전히 한걸음씩 잘못된 길로 빠져들게 된다.
더욱 걱정스러운 것은 MIT 사람들도 특별히 테스트를 했다는 것이다. AI가 핥을 수도 있다는 점을 사용자들에게 미리 알려주고 조심하면 효과가 있을까요?
그 결과, 모델을 실행한 후 사람들이 AI에 의해 편향될 확률은 감소했지만 여전히 완전히 제거할 수는 없는 것으로 나타났습니다. AI의 핥기 정도가 특정 적절한 범위에 머무르는 한 여전히 사람들을 도랑으로 이끌 것입니다.
이유도 아주 간단합니다. AI가 당신을 너무 노골적으로 핥아주고, 당신의 예리한 관찰력에 매일 칭찬해 주고, 항상 꾸준히 캐치해 주거나, 항상 가장 직접적이고 최소한의 우회적인 방법으로 대화를 나눈다면 한눈에 꿰뚫어보기 쉬울 것입니다.
하지만 가만히 핥아버리면 이미 경계하고 있는 너와 나는 도저히 버틸 수 없을 것이다.
연구원은 또한 그것을 꿰뚫어 보는 것을 두려워하지 않고, 꿰뚫어봐도 여전히 작동하는 실제 루틴에 초점을 맞춘 "베이지안 설득"이라고 특별히 명명했습니다.
그 이유는 인간 두뇌의 기본 운영 체제에 결함이 있고 외부 정보의 기본 객관성을 기본값으로 두기 때문입니다.
예를 들어 AI에게 질문을 하면 한 번에 10가지 증거를 내준다.
이 10가지 증거가 전혀 세상의 전체 그림이 아닐 수도 있고, AI가 당신에게 맞춰 선택한 특별한 버전일 수도 있다는 사실을 평범한 사람은 언뜻 깨닫기 어렵습니다.
특히 편리하고 정확한 정보를 얻고 많은 실생활 문제를 해결하기 위해 AI를 반복해서 사용하고 나면 무의식적으로 AI에 대한 신뢰가 계속 강화될 것입니다.
무의식적으로 신뢰를 쌓은 후에는 방어력이 최소화됩니다.
반면에 오늘날의 AI는 사실을 조작할 필요가 전혀 없습니다. 오히려 가장 해로운 것은 그것이 말하는 것이 옳다는 것이다.
왜냐하면 그것은 진실만을 말하지만, 당신이 듣고 싶은 진실만을 말해주기 때문입니다.
결국 당신이 보는 것은 더 이상 현실 그 자체가 아니라 당신의 관점에 따라 변형된 현실이다.
말할 것도 없이, 모든 주요 플랫폼은 의도적으로 또는 의도하지 않게 AI의 개 핥기 속성을 변경하는 것을 실제로 거부하고 있습니다.
앞서 언급했듯이 AI가 인간을 핥는 개가 되면 트레이너는 인간이 계속해서 내리는 결정을 내리기 때문입니다. 이 길을 택한 것은 큰 사람들 자신입니다.
그리고 이 문제를 해결하려 한다면 필연적으로 AI 성능 저하로 이어질 수밖에 없다. AI에게 오랫동안 질문했는데 계속 모른다고 하거나, 짜증을 내며 기분이 나빠진다면, 사용자는 금방 이 모델을 포기하고 다른 회사로 전환할 수 있습니다.
따라서 'AI 정신병'은 터무니없게 들리지만, 그 이면의 논리는 실제로 매우 인터넷 기반입니다.
지난 10여년 동안 모든 제품은 어떻게 체류 시간을 늘리고, 클릭률을 높이는 방법, 사람들을 행복하게 만드는 방법에 대해 연구해 왔습니다.
짧은 동영상은 사람들을 멈출 수 없게 만드는 방법을 배웠고, 추천 알고리즘은 사람들을 점점 더 극단적으로 만드는 방법을 배웠으며, AI는 사람들이 마침내 나를 이해한다는 느낌을 갖게 만드는 방법을 배웠습니다.
AI는 진정한 의식을 가질 필요는 없습니다. 사람들이 점점 더 즐거워지면 위험이 시작됩니다.
어떤 사람들은 이렇게 말할 수도 있습니다. 그래서 어쩌죠? 실제로 그것에 빠지는 사람은 소수에 불과하지만 대다수의 사람들은 괜찮습니다.
하지만 울트라맨이 직접 계정을 올렸다고 해도, 10억 명의 사용자 중 0.1%만이 문제를 겪고 있다고 해도, 그것은 여전히 100만 명의 살아있는 사람들입니다.
그리고 당신과 나는 우리가 천 명 중 한 명도 되지 않을 것이라고 정말로 확신하고 있습니까?