요약:
AI 에이전트를 사용하는 사용자인 Matt Smith는 평소처럼 쇼핑 주문을 완료하는 대신 AI가 자신을 위해 이상한 양의 계란을 주문했다는 사실을 알아차렸습니다. Matt Smith는 쇼핑 목록에 계란을 등록하지 않았습니다. 그런데 AI 비서가 현지 유명 브랜드 '바이탈팜스(Vital Farms)'의 대형 계란 4팩을 장바구니에 추가했습니다. 한 포장에 18개의 계란이 들어있으며, 총 72개의 계란이 그의 집으로 배송되었습니다.

스미스는 주문을 검토한 후 AI에게 이 숫자를 선택한 이유를 설명해 달라고 요청했지만 AI의 대답은 설득력이 없었습니다. "만족스러운 답변을 드릴 수 없습니다. 숫자 4를 선택한 이유를 설명하는 메모를 찾을 수 없습니다."
처음에는 AI 에이전트가 쇼핑 목록 이미지를 읽을 때 계란에 대한 정보를 잘못 읽었다고 밝혔습니다. 그러나 Smith는 자신의 목록에 계란이 전혀 언급되지 않았다는 점을 재빨리 지적했습니다. AI는 결국 아무 이유 없이 주문에 계란을 추가했다는 사실을 인정했다.
이것은 인공지능 에이전트에게 일상 업무를 위임할 때 의도하지 않은 결과를 초래할 수 있는 문제인 AI 환각의 실제 사례입니다.
이러한 도구가 개인 정보에 광범위하게 접근할 위험은 과소평가할 수 없습니다. 예를 들어 Meta의 Muse AI 에이전트가 출시된 직후 한 남성은 AI가 자신도 모르게 Facebook Marketplace에서 낯선 사람에게 집 주소를 알려주고 집으로 안내했다고 보고했습니다.
Smith는 이 사건을 거대 언어 모델 환상의 실제 결과에 대한 첫 번째 개인적 경험으로 설명했으며, 그는 훨씬 더 심각한 결과를 초래할 수 있다고 말했습니다.
이 기술이 크게 발전했음에도 불구하고 AI 에이전트는 여전히 오류가 발생하기 쉬우므로 감독 없이 삶의 모든 측면을 처리하도록 맡겨서는 안 됩니다.
댓글