생성 AI와 대규모 언어 모델이 등장한 이후 일부에서는 AI가 생성한 출력이 궁극적으로 후속 AI가 생성한 출력에 영향을 미쳐 위험한 피드백 루프를 생성할 수 있다고 경고했습니다. 이제 우리는 신흥 기술 분야의 위험을 더욱 강조하는 문서화된 사례를 보유하고 있습니다.
허위 정보를 환각하는 인공지능 챗봇을 표현하려던 중, 연구자가 본의 아니게 검색결과 순위에 영향을 미쳐 다른 챗봇이 환각을 일으키는 현상이 발생했습니다. 이번 사건은 AI로 강화된 검색 엔진이 대중화됨에 따라 추가적인 보호 조치가 필요함을 보여줍니다.
정보 과학 연구원인 Daniel S. Griffin은 올해 초 자신의 블로그에 영향력 있는 컴퓨터 과학자인 Claude E. Shannon과 관련된 잘못된 정보를 제공하는 챗봇의 두 가지 예를 게시했습니다. 그리핀은 또한 기계 검색자가 정보를 색인화하는 것을 막기 위해 챗봇이 제공한 정보가 사실이 아니라는 면책조항을 포함시켰지만 그것만으로는 충분하지 않았습니다.
Griffin은 결국 Microsoft의 Bing 및 Google Bard를 포함한 여러 챗봇이 그의 환각 메시지를 실제 메시지로 착각하고 검색 결과에서 더 높은 순위를 매겼다는 사실을 발견했습니다. Shannon에 대해 구체적인 질문을 받았을 때, 봇은 Griffin의 경고를 기반으로 일관되지만 잘못된 설명을 만들어 Shannon이 쓴 적이 없는 논문을 Shannon의 것으로 돌렸습니다. 더욱 우려스러운 점은 Bing 및 Bard 검색 결과에서 해당 출처가 LL.M이라는 사실을 나타내지 않았다는 것입니다.
이러한 상황은 사람들이 맥락이나 맥락을 벗어나 출처를 인용하여 잘못된 연구로 이어지는 경우와 유사합니다. Griffin의 사례는 생성 AI 모델이 이러한 오류를 무서운 규모로 자동으로 수정할 수 있는 가능성을 보여줍니다.
이후 Microsoft는 온라인에서 사람이 작성한 자료가 상대적으로 적은 주제를 다룰 때 문제가 발생할 가능성이 더 높다고 가정하여 Bing의 오류를 수정했습니다. 이 선례가 위험한 또 다른 이유는 악의적인 행위자가 검색 결과에 영향을 미쳐 잘못된 정보를 퍼뜨리기 위해 의도적으로 LLM을 악용할 수 있는 이론적 청사진을 제공한다는 것입니다. 해커는 검색 결과에서 상위 순위를 얻기 위해 사기성 웹사이트를 조작하여 악성 코드를 확산시키는 것으로 알려져 있습니다.
이 취약점은 6월에 더 많은 LLM 생성 콘텐츠가 웹에서 사용 가능해짐에 따라 향후 LLM 교육에 사용될 것이라는 경고와 동시에 발생합니다. 결과적인 피드백 루프는 "모델 붕괴"라고 알려진 현상으로 AI 모델의 품질과 신뢰성을 크게 약화시킬 수 있습니다.
AI를 사용하는 기업은 교육에서 인간이 생성한 콘텐츠를 계속해서 우선시하도록 해야 합니다. 소수 집단이 생산한 눈에 잘 띄지 않는 정보와 자료를 보존하면 이 문제를 해결하는 데 도움이 될 수 있습니다.