학교에서의 부정행위와 뉴스 보도에 허위 정보를 퍼뜨리는 데 대규모 언어 모델이 사용되었습니다. 이제 그들은 법정에 몰래 들어와 과중한 사건을 담당하는 판사들이 직면한 허위 소송을 악화시키고 이미 한계가 있는 사법 시스템에 새로운 위험을 가하고 있습니다.
Ars Technica의 최근 보고서는 미국 사법 시스템이 직면하고 있는 위험이 커지고 있음을 강조하는 조지아 항소 법원의 판결을 자세히 설명합니다. 즉, AI 생성 환각이 법원 문서에 스며들고 심지어 사법 결정에 영향을 미치기까지 합니다. 이혼 분쟁에서 남편의 변호사는 존재하지 않는 사례에 대한 참조로 가득 찬 명령 초안을 제출했습니다. 이 사례는 ChatGPT와 같은 생성 AI 도구로 조작되었을 가능성이 높습니다. 재판 법원은 문서에 서명했고 이후 남편에게 유리한 판결을 내렸습니다.
위조된 소환장이 밝혀진 것은 아내가 항소한 후에야 드러났습니다. Jeff Watkins 판사가 이끄는 항소심은 가짜 사건이 법원의 판결 재검토 능력을 약화시킨다는 점을 지적하면서 명령을 번복했습니다. Watkins는 소환장이 AI가 생성한 환각일 수 있다고 솔직하게 말했습니다. 법원은 남편의 변호사에게 2,500달러의 벌금을 부과했습니다.
이것은 고립된 사건처럼 들릴지 모르지만 올해 2월에는 비슷한 상황에서 변호사에게 15,000달러의 벌금이 부과되었습니다. 법률 전문가들은 이것이 앞으로 일어날 일의 전조가 될 수 있다고 경고했습니다. 생성적 AI 도구는 "환각"으로 알려진 동작인 확실한 확신을 가지고 정보를 쉽게 위조하는 것으로 알려져 있습니다. 전문가들은 압도된 변호사와 자칭 소송 당사자가 인공 지능에 점점 더 접근할 수 있게 되면서 판사는 가짜 사건, 가짜 판례, 합법적인 것처럼 가장하는 혼란스러운 법적 추론으로 가득 찬 소송 문서에 점점 더 직면하게 될 것이라고 전문가들은 말합니다.
이는 이미 허술해진 사법 체계의 문제를 더욱 악화시킵니다. 많은 관할권에서 판사는 변호사가 작성한 판결을 다시 생각하지 않고 승인하는 경우가 많습니다. 그러나 인공지능을 활용하면 이러한 위험이 더욱 커진다.
허위 법적 인용에 대한 항소 법원의 의견
법에서 인공지능의 윤리에 대해 폭넓게 글을 쓴 전 텍사스 항소법원 판사이자 법률학자인 존 브라우닝(John Browning)은 “예심 판사가 많은 사건을 다루는 상황에서 이런 경우가 있을 수 있다고 상상할 수 있습니다.”라고 말했습니다.
브라우닝은 Ars Technica에 이러한 유형의 오류가 더 흔해질 가능성이 "매우 높다"고 말했습니다. 그와 다른 전문가들은 법원, 특히 풀뿌리 수준에서는 AI가 주도하는 우연한 관행을 처리할 준비가 되어 있지 않다고 경고합니다. 현재 미시간주와 웨스트버지니아주 2개 주에서만 판사가 인공지능과 관련해 기본적인 '기술적 역량'을 유지하도록 요구하고 있다. 일부 판사는 AI 생성 문서의 사용을 전면 금지하거나 AI 사용 공개를 의무화했지만, 이러한 정책은 불완전하고 일관성이 없으며, 사건의 양이 너무 많아 시행하기 어렵습니다.
동시에 AI가 생성한 문서가 항상 명확한 것은 아닙니다. 대규모 언어 모델은 실제처럼 들리는 사례 이름, 그럴듯한 인용, 형식적으로 들리는 법률 용어를 조합하는 경우가 많습니다. 브라우닝은 판사가 찾아볼 수 있는 숨길 수 없는 징후가 있다고 말했습니다. 잘못된 법원 속기사, "123456"과 같은 자리 표시자 사건 번호 또는 부자연스럽고 정형화된 언어 등입니다. 하지만 AI 도구가 더욱 정교해지면서 이러한 단서는 점차 사라질 수도 있습니다.
프린스턴 대학 Polaris Laboratory의 Peter Henderson과 같은 연구원은 인공 지능이 법원 문서에 미치는 영향을 추적하는 도구를 개발하고 있으며 검증을 단순화하기 위해 공개 법적 사건 라이브러리를 옹호하고 있습니다. 다른 사람들은 허위 사건이 잡히기 전에 발견한 사람들에게 보상을 주는 "포상금 시스템"과 같은 새로운 솔루션을 제안했습니다.
현재 조지아주 이혼 소송은 부주의한 변호사뿐만 아니라 법원 시스템이 압도당하고 모든 법률 문서에서 인공지능 사용을 추적할 수 없게 될 가능성에 대한 경고입니다. Watkins 판사가 경고한 것처럼 AI가 생성한 환각이 계속해서 법원 기록에 확인되지 않은 채 침투한다면 사법 시스템 자체에 대한 신뢰가 훼손될 수 있습니다.