6월 7일 뉴스에 따르면 잉글랜드와 웨일스의 다수 경찰은 관련 출력의 오류가 후속 법적 절차의 신뢰성에 영향을 미칠 수 있기 때문에 법원 진술서 및 형사 사법 문서를 준비하기 위해 AI 도구를 사용하는 것을 중단하라는 요청을 받았습니다. 6월 5일 파이낸셜타임스 보도에 따르면 영국 경찰 AI 업무 책임자인 알렉스 머레이(Alex Murray)가 요청한 것으로 알려졌다.

Murray는 또한 국립 범죄청 국장이자 국립경찰청장협의회(NPCC)의 AI 업무 책임자이기도 합니다. 영국은 올해 1월 영국과 웨일즈의 43개 경찰이 AI의 보다 통합적인 사용을 촉진하기 위해 국가 경찰 AI 센터를 구축하는 데 1억 1500만 파운드를 투자할 것이라고 발표했습니다.

법원 자료는 '제출 전 확인'에만 의존할 수 없습니다.

이번에 중단되는 것은 법원 진술서, 관련 사건 서류 등 형사사법 절차에 들어가는 자료들이다. 경찰관에게는 AI가 작성한 보고서가 시간을 절약해 주는 것 같습니다. 그러나 증인이나 피고인, 검사의 입장에서는 이 말이 사건의 사실관계와 절차에 부합하는지를 판단하는 근거가 될 수도 있다는 것이 문제이다.

AI가 존재하지 않는 사실, 혼란스러운 타임라인, 잘못된 요약 등을 자료에 적고 후속 인력이 이 자료를 이용해 사건을 정리하거나 증거 진술을 준비하거나 법원에 제출한다면 그 오류는 더 이상 단순히 '잘못된 문장'이 아니라 사건 처리 과정 전체에 퍼질 수 있다. 이런 종류의 시나리오에서 소위 "AI 출력 확인"도 하나의 프롬프트로 해결하기 어렵습니다. 검사기가 모든 사실과 모든 인용문을 확인해야 할까요, 아니면 텍스트가 매끄러운지 판단해야 할까요? 모든 것을 다시 하라는 대답이 나온다면 AI가 절약한 시간은 상쇄될 것이다.

영국 검찰청(CPS)은 AI 도구가 인간의 감독 하에 사용되어야 하며 특히 공정성, 투명성, 책임성을 강조하는 AI 윤리 성명을 발표했습니다. 그러나 일선 경찰 문서가 형사 소송에 들어가면 책임의 경계가 일반적인 사무실 환경보다 더 민감합니다. 누가 자료를 썼는지, 누가 확인했는지, 누가 실수에 책임이 있는지에 대한 명확한 기록이 유지되어야 합니다.

올해 1월 가상의 축구 경기가 경종을 울렸다

영국 경찰이 AI 문서의 위험성에 대해 조심스러운 입장을 취한 것은 전례가 없는 일이 아니다. 올해 1월, 전 웨스트 미들랜즈 경찰청장 크레이그 길퍼드(Craig Guildford)는 AI 오류가 포함된 정보 자료에 대해 영국 의회 내무 선정 위원회에 사과했습니다.

이 자료에는 이스라엘 마카비 텔아비브 축구단(Maccabi Tel Aviv)의 팬들이 프리미어리그 웨스트햄 유나이티드와 갈등을 빚었지만 관련 경기가 존재하지 않았다고 언급됐다. Guardian은 Guildford가 경찰이 Microsoft Copilot을 사용하여 생성한 허구의 콘텐츠에서 오류가 발생했음을 인정했다고 보도했습니다.

이번 사건을 통해 AI가 생성한 콘텐츠가 공식적인 법집행기관이나 공공 의사결정 문서에 포함될 때, 외부 독자들이 어떤 텍스트가 원래 검증되었는지, 모델이 생성된 후 2차 표현에 불과한지 판단하기 어렵다는 사실이 드러났습니다. 법원 자료의 경우 이러한 불투명성은 당사자의 권리와 사건의 신뢰성에 직접적인 영향을 미칩니다.

AI 경찰 홍보팀이 가장 민감한 링크 철회에 앞장서다

영국 정부는 통합 테스트, 훈련, 관리 메커니즘 구축을 가속화한다는 목표로 올해 1월 경찰 AI 센터를 발표했다. NPCC는 당시 1억 1,500만 파운드의 투자로 경찰이 범죄를 더 빨리 해결하는 데 도움이 될 것이며 약 3,000명의 정규 경찰관의 업무량에 해당하는 연간 약 600만 경찰 시간을 확보할 것으로 예상된다고 밝혔습니다.

따라서 이번 중단은 AI 치안의 경계를 그리는 것과 비슷합니다. AI는 먼저 데이터 둔감화, 비긴급 경보 사전 심사, 내부 정보 분류 등 위험도가 낮고 추적 가능하며 검토가 쉬운 백엔드 작업에 사용될 수 있습니다. 그러나 법원 증언과 형사 사법 문서는 위험도가 높은 연결고리이며 "인간이 궁극적으로 책임을 진다"는 말만으로는 다룰 수 없습니다.

사건의 증인, 기자, 피의자, 피고인이라면, 마주하는 진술 자료는 나중에 생성 과정을 복원하기 어려운 AI 텍스트 세트가 아니라 책임을 질 수 있는 사람에게서 나와야 합니다. 경찰이 보고서를 작성하는 데 시간을 절약하는 것은 물론 중요하지만, 사법 자료의 신뢰성을 떨어뜨리는 희생을 치르더라도 안 됩니다.

이번 영국의 정지는 고립된 사례가 아닐 것입니다. 지난 2년간 미국, 캐나다, 호주 등지에서 변호사들이 인공지능(AI) 사례를 인용하고, 법원이 AI 활용 가이드라인을 발표한 사례가 있었다. 이제 변호사가 경찰의 기본 사건 파일에 문서를 제출하는 것부터 위험이 커졌습니다. AI가 사법 시스템에 진입하는 데 있어 실질적인 어려움은 텍스트 생성의 품질이 아니라 타인의 권리에 영향을 미칠 수 있는 모든 진술을 확인하고 추적하고 책임을 질 수 있는지 여부에 있습니다.