검색 엔진을 사용하여 답변을 찾으세요. 여러 경쟁 정보 소스를 보고 스스로 진위 여부를 판단할 수 있습니다. 그러나 인터넷 검색 기능을 갖춘 AI 챗봇은 신뢰할 수 없는 온라인 콘텐츠를 확고한 표준 답변으로 패키지화합니다. 보안 엔지니어의 간단한 실험을 통해 AI의 치명적인 취약점이 명확하게 드러났습니다.
실험의 시작자는 보안 엔지니어 Ron Stoner입니다. 그가 선택한 타겟은 독일의 고전 카드보드게임 "6Nimmt!" 입니다. 이 게임은 중국 플레이어들에게 "황소머리 왕은 누구인가"로 잘 알려져 있으며 영어 번역은 "Take5"입니다. 2025년 세계선수권 우승자는커녕 공식적인 세계선수권도 전혀 없다.
2월에 Stoner는 게임의 Wikipedia 항목을 조용히 편집하여 자신을 게임의 2025년 세계 챔피언으로 기록했습니다.
그는 또한 미화 12달러(약 82위안)를 들여 게임 이름과 매우 유사한 도메인 이름 6nimmt.com을 등록했으며, 위키피디아 항목의 유일한 참고 출처로 그의 승리를 축하하는 가짜 보도자료를 웹사이트에 올렸습니다.
는 매우 간단하고 매우 간단한 사기이지만 많은 주류 AI 챗봇을 쉽게 속였습니다. 인터넷 검색 기능을 갖춘 인공지능들에게 자신의 '챔피언십 정체성'을 물었을 때, 모든 로봇들은 진지하게 확인 답변을 하며 자신이 현재 이 보드게임의 세계 챔피언이라고 단호하게 주장했습니다.
"내 웹사이트에는 독립적인 증거가 없으며 모두 허구입니다. " Stoner는 자신의 블로그에서 "모든 거짓말의 기초는 내가 커피를 마시고 있을 때였습니다. 82위안에 등록된 도메인 이름입니다. .”
이번 공격은 일반 프롬프트 단어 삽입이 아닌, AI가 질문에 답하기 전 인터넷 검색 및 정보 크롤링의 핵심 링크인 AI 시스템의 RAG(Retrieval Enhancement Generation) 계층을 대상으로 합니다.
AI는 정보 출처의 진위 여부와 공신력을 확인하지 않고 최상위 콘텐츠만 크롤링합니다. 그의 가짜 웹사이트는 이 "챔피언십"에 대한 유일한 정보 소스입니다. Wikipedia의 권위 있는 보증과 함께 AI는 거짓말을 사실로 포장하는 것이 쉽습니다 .
Stoner는 이 방법에는 기술적인 혁신이 없다고 솔직하게 인정했습니다. 이는 오래된 SEO와 허위 정보 방법을 새로운 셸에 넣는 대규모 언어 모델의 새로운 셸일 뿐입니다. 진짜 위험은 AI가 이러한 결과를 권위 있는 정보로 제시하고 대다수의 사용자가 그 뒤에 있는 정보 처리 프로세스에 대해 전혀 모른다는 것입니다.
이 실험에서는 AI 시스템의 3중 치명적인 보안 위험도 노출되었습니다.
첫 번째 레이어는 AI를 사용해 인터넷 검색을 기반으로 답변을 생성하는 실시간 검색 레이어입니다. 신뢰성은 검색 결과의 품질과 완전히 연관되어 있습니다.
두 번째 레이어는 모델 학습 코퍼스입니다. 그의 Wikipedia 편집자는 2월부터 지난 금요일까지 살아 남았습니다. 이 기간 동안 위키피디아를 크롤링한 AI 기업이 훈련 데이터에 허위 정보를 포함했을 가능성이 있다. 나중에 항목을 삭제하더라도 모델의 잘못된 흔적은 제거하기 어렵습니다.
세 번째 레이어이자 가장 위험한 것은 AI 에이전트입니다. 잘못된 정보를 출력하는 채팅 모델은 평판의 문제일 뿐입니다. 도구 권한을 가진 AI 에이전트가 오해를 받을 경우, 그로 인한 잘못된 연산은 실질적인 보안 문제가 됩니다. 공격자는 에이전트를 직접 제어하여 악의적인 작업을 수행할 수 있습니다.
전체 실험 비용은 Stoner가 단 82위안(Wikipedia 편집 한 번)에 불과했으며 20분 만에 완료되었습니다. 악의적인 공격자가 조직적으로 도메인 이름을 일괄 등록하고 조정 편집 공격을 가할 경우 공격 표면이 매우 빠른 속도로 확장될 것임을 상기시켰습니다. 그는 AI 제조업체가 정보 소스 추적에 주의를 기울이고 해당 위험 필터링 메커니즘을 구축할 것을 촉구했습니다.
오늘 가짜 챔피언의 정보가 위키피디아와 AI 검색결과에서 사라졌습니다. 그러나 네트워크 정보에 대한 AI의 맹목적인 신뢰라는 근본적인 취약점은 여전히 존재합니다. 이는 AI 산업 전체에 숨어 있는 숨겨진 위험이며 가장 경계가 필요한 부분이다.