요약:
9월 11일, Anthropic은 App Development Studio가 Claude를 사용하여 20개 이상의 데이트 앱을 개발하고 운영했다는 최신 AI 남용 보고서를 발표했습니다. 플랫폼은 모든 사용자가 실제 사람이라고 주장하지만 일반 사용자가 받는 매칭의 약 75%는 AI 캐릭터입니다.
Anthropic은 2026년 4월 2주간의 관찰 기간 동안 이 데이트 소프트웨어 배치가 4,700개 이상의 AI 캐릭터를 실행하고 최소 25,000명의 다른 사용자와 채팅했으며 총 약 236만 개의 메시지를 보냈다고 밝혔습니다. 영향을 받은 사람들은 주로 미국 사용자이지만, 보고서는 이들의 나이, 성별, 구체적인 손실 금액을 공개하지 않았습니다.
이런 사용자들은 자신이 채팅하고 있는 사람이 진짜인지 가짜인지 판단하기 어렵습니다. 플랫폼은 약 3명의 AI 캐릭터와 1명의 실제 인물의 비율로 자료를 표시합니다. Claude는 수천 건의 대화를 동시에 유지하는 책임을 맡고 있으며, 사용자가 화상 통화, 사진을 요청하거나 소셜 계정을 팔로우할 때 의심을 줄이기 위해 인간 아르바이트 직원이 있습니다.
인간 아르바이트도 AI의 도움을 받습니다. 시스템은 각 메시지에 대해 3개의 대체 응답을 생성하며, 시간제 근로자는 그 중 하나만 선택하여 보내면 됩니다. 채팅 메시지, 영상 통화, 소셜 플랫폼 체크인 수에 따라 지급되며, 낮은 출금 기준점 도달 후 정산될 수 있습니다.
AI가 완전히 통제하는 계정의 경우 운영자는 클로드에게 자신이 로봇이라는 사실을 인정하지 말라고 요구합니다. 사용자가 영상이나 사진을 요청하면 AI는 이를 회피할 이유를 찾아 미리 설정된 단계에 따라 점차 관계를 발전시킨다. 또한 백엔드는 가짜 좋아요, 방문자 기록, 사전 녹화된 동영상을 생성하고 로봇이라고 의심하기 시작한 사용자에게 플래그를 지정합니다.
사용자는 플랫폼에서 채팅하고 매칭하려면 크레딧을 소비해야 합니다. 다 사용한 후에는 인앱 가상 화폐를 구매하여 충전해야 합니다. 이 모델은 최근 중국 인터넷에서 거론되는 '벵라오터우' 사기와 유사하다. 그들은 둘 다 가짜 여성 페르소나와 지속적인 채팅을 사용하여 남성이 돈을 지불하도록 자극합니다.
또한 보고서는 몇 번의 무작위 대화에서 일부 사용자가 심각한 질병을 앓고 있거나 극심한 고통을 겪고 있다고 밝혔습니다. 클로드의 내부 추론을 통해 잠재적인 피해가 확인되었으나, 그는 대화에서 나가지 않은 채 가상의 신분으로 대화를 계속하고 있습니다.
앱 스토어 검토를 피하기 위해 운영자는 검토 기간 동안에만 활성화되는 소프트웨어용 특수 인터페이스도 설계했습니다. 20개가 넘는 앱이 서로 다른 프로그램 클래스 이름을 사용하여 Apple과 Google이 유사한 앱을 식별하는 데 사용하는 탐지 메커니즘을 회피했습니다. 제3자 결제 플랫폼으로의 진입은 서버에 의해 원격으로 제어될 수도 있으며 검토 기간 동안 일시적으로 숨겨질 수도 있습니다.
Anthropic이 공개한 관련 데이트 소프트웨어 브랜드로는 DORA, DONI, ROMI, LUMA, JOVIA, KIRA, GRACECHAT, HAVEN, NALO, LOVIA 등이 있습니다. Anthropic은 관련 계정을 금지하고 앱 ID 및 검토 우회 정보를 Apple과 Google에 제공했습니다.
위 조사 결과는 Anthropic의 일방적인 공개에서 나온 것이며 아직 독립적인 제3자에 의해 검증되지 않았다는 점을 강조해야 합니다. 보고서에는 관련 애플리케이션 스튜디오의 이름은 공개되지 않았으며, 사용자가 해당 사건을 신고했는지 여부나 실제 사기 금액도 공개되지 않았습니다.
댓글