Gemma는 Google이 출시한 오픈소스 인공지능 모델입니다. 이 모델은 Google AI Studio 및 기타 채널을 통해 모든 개발자가 사용할 수 있습니다. 하지만 구글이 해당 모델을 철회했기 때문에 개발자들이 구글 AI 스튜디오에서 젬마를 찾기 어려울 수도 있다.
구글은 오픈소스 인공지능 모델을 삭제한 이유를 설명하지 않았지만, 구글이 모델을 삭제하기 전 미국 공화당 상원의원 마샤 블랙번은 구글 CEO 순다르 피차이에게 서한을 보내 해당 모델에 왜 자신에 대한 허위 비난이 포함되어 있는지 설명해달라고 요청했다.
Blackburn은 또한 Google에 모델에서 이러한 결함이 발생하는 이유를 설명해달라고 요청했으며, 이 문제를 Google과 다른 회사가 보수주의자를 폄하하는 챗봇을 만들었다고 비난하는 진행 중인 청문회와 연결했습니다.
청문회에서 구글의 말콤 에릭슨(Malcolm Erickson)은 인공지능 환각은 생성 인공지능에서 흔히 발생하는 문제이며 구글은 이러한 오류의 영향을 완화하기 위해 최선을 다하고 있지만 아직까지 환각을 완전히 없앨 수 있는 회사는 없다고 설명했다.
공개 서한에서 Marsha Blackburn은 청문회가 끝난 후 Google Gemma 모델이 자신에 대한 거짓 비난을 알게 되었다고 밝혔습니다. Marsha Blackburn이 강간 혐의로 기소되었는지 묻는 질문에 Gemma 모델은 그녀가 주 경찰관과 마약을 사용하여 관계를 맺었으며 모델조차도 조작된 뉴스 콘텐츠에 대한 잘못된 링크를 생성했다고 대답했습니다(즉, 참조된 콘텐츠 소스 자체는 존재하지 않았으며 순전히 모델 자체에 의해 조작되었습니다).
실제로 이러한 상황은 생성 인공지능 모델에서 드문 일이 아닙니다. 사용자가 의도적으로 안내하는 한, 생성 인공지능 모델은 그러한 환각에 빠지기 쉽습니다. 특히 구글 AI 스튜디오에는 모델 행동을 조정할 수 있는 도구가 포함돼 있어 루머 확산이 쉽지 않다.