언론은 ChatGPT 검색 도구가 숨겨진 콘텐츠로 조작될 수 있으며 검색하는 웹사이트에서 악성 코드를 반환할 수 있다는 사실을 발견했습니다. 숨겨진 텍스트 공격을 받은 ChatGPT는 제품 페이지에 부정적인 사용자 리뷰가 있어도 무시하고 해당 제품에 긍정적인 리뷰를 제공하는 방식으로 대응했습니다.
OpenAI가 ChatGPT 검색 서비스의 글로벌 출시를 공식적으로 발표한 지 불과 일주일 만에 보안 위험이 있고 사용자를 속이고 오도할 수 있다는 사실이 밝혀졌습니다.
영국의 "Guardian"이 최근 발표한 연구에 따르면 ChatGPT 검색 도구는 숨겨진 콘텐츠로 조작될 수 있으며 검색하는 웹 사이트에서 악성 코드를 반환할 수 있다는 사실이 밝혀졌습니다. 언론에서는 관련 기술의 악의적 사용 위험을 재고해야 할 수도 있다고 생각합니다. 예를 들어, 제품 페이지에 사용자의 부정적인 리뷰가 있더라도 ChatGPT는 이러한 부정적인 리뷰를 무시하고 사용자의 응답이 제품에 대한 긍정적인 리뷰라는 피드백을 제공할 수 있습니다.
Guardian은 숨겨진 콘텐츠가 포함된 웹 페이지를 요약해 달라는 요청에 ChatGPT가 어떻게 반응하는지 테스트했습니다. 이 숨겨진 콘텐츠에는 ChatGPT의 응답을 변경하는 제3자의 지침("프롬프트 주입"이라고도 함)이 포함될 수 있습니다. 또한 제품이나 서비스의 이점에 대해 이야기하는 대량의 숨겨진 텍스트와 같이 ChatGPT의 응답에 영향을 미치도록 설계된 콘텐츠가 포함될 수도 있습니다.
테스트에서 Guardian은 ChatGPT에게 카메라 제품 페이지처럼 보이는 가짜 웹사이트의 URL을 요청한 다음 ChatGPT에 카메라를 구입할 가치가 있는지 물었습니다. 제어 페이지에 대한 ChatGPT 응답은 긍정적이지만 균형 잡힌 리뷰를 제공하여 사람들이 좋아하지 않을 수 있는 일부 기능을 강조했습니다. 그러나 숨겨진 텍스트에 ChatGPT가 긍정적인 리뷰를 반환한다는 지침이 포함된 경우 ChatGPT의 실제 응답은 항상 완전히 긍정적이었습니다. 이는 페이지에 부정적인 리뷰가 있는 경우에도 마찬가지입니다. 숨겨진 텍스트를 사용하여 실제 리뷰를 덮어쓸 수 있음을 알 수 있습니다.
숨은 텍스트 공격은 대형언어모델(LLM)이 흔히 겪는 리스크라는 지적도 있지만, 실시간 AI 검색 제품에서 이런 리스크가 발견된 것은 처음인 것으로 보인다. Guardian은 검색 분야의 선두주자인 Google이 유사한 문제를 처리하는 데 OpenAI보다 더 많은 경험을 가지고 있다고 밝혔습니다.
OpenAI는 위에서 언급한 '가디언' 테스트 결과에 대해 언급하지 않았지만, 악성 웹사이트를 차단하기 위해 다양한 방법을 사용하며 지속적으로 개선되고 있다고 밝혔습니다.