미국 플로리다주 오비에도의 한 고등학교는 이번 주 인공지능 무기 인식 시스템의 오경보로 인해 '코드 레드' 폐쇄 사태를 겪었다. 학생의 손에 있는 클라리넷이 시스템에 의해 총으로 잘못 식별되었습니다. 학교는 즉각 긴급 휴교 상태에 돌입했다. 학교와 경찰은 신속히 대응해 실질적인 위협이 없음을 최종 확인했다. 이 사건은 부모들에게 잘못된 경고를 줬을 뿐만 아니라 학교에서 점점 인기를 얻고 있는 AI 보안 시스템의 정확성과 감독 문제를 다시 한 번 전면에 부각시켰습니다.

사건은 Lawton Chiles 중학교에서 발생했습니다. 학교에 배치된 AI 위협 탐지 플랫폼은 감시 카메라를 통해 실시간 영상을 스캔해 학생이 소지한 클라리넷을 잠재적인 총기류로 '식별'해 시스템 경보를 발령했다. 학교는 즉시 최고 수준의 "코드 레드" 폐쇄 절차를 시작하여 캠퍼스를 차단하고 법 집행 기관에 도착을 알렸습니다. 봉쇄는 소위 '무기'가 실제로 악기라는 것이 확인될 때까지 해제되지 않았습니다. 교장은 나중에 학부모에게 보낸 공지에서 당시 캠퍼스에 실질적인 보안 위협은 없었다고 강조했지만 여전히 학부모에게 자녀와 소통하고 캠퍼스에서 '무기를 쥐는 척'과 같은 위험한 행동을 하지 말라고 상기시켰다.

보도에 따르면 학교가 위치한 세미놀 카운티 교육구는 펜실베이니아에 본사를 둔 회사인 제로아이즈(ZeroEyes)가 제공하는 클라우드 총기 탐지 서비스를 사용하고 있다고 한다. 계약금액은 250,000달러이다. 이 시스템은 기존 감시 카메라와 연결돼 컴퓨터 비전 알고리즘을 사용해 사진에 나타날 수 있는 총기의 윤곽과 특징을 식별한다. 공식 정보에 따르면 AI 모델은 수백 개의 총기 이미지에 대해 훈련을 받았습니다. 시스템이 무기가 발견되면 관련 이미지가 ZeroEyes 모니터링 센터로 전송되어 인간 분석가의 검토를 거쳐 학교나 법 집행 기관에 경고를 보낼지 여부를 결정합니다. 그러나 이번 사건에서는 이러한 "수동 2차 확인" 메커니즘이 허위 경보가 학교 전체의 폐쇄로 이어지는 것을 막는 데 분명히 실패했습니다.

ZeroEyes의 플랫폼은 미국 전역 43개 주에서 구현되었으며 플로리다의 인구 밀도가 높은 여러 학군에 진출했습니다. 회사는 더 빠른 위협 식별을 통해 학교 총격 사건에 대한 대응 시간을 단축하기를 희망하면서 이를 "예방적" 보안 방법으로 포지셔닝합니다. 그러나 회사가 공개하는 성과 데이터는 극히 제한적이며, 인식 정확도, 오경보율, 실제 위협 차단 성공 여부에 대한 상세한 통계가 거의 없어 외부인이 실제 효과를 평가하기 어려운 실정이다. 언론 문의에 대한 응답으로 Seminole 카운티 안전 및 보안 부서는 입증된 위협 차단 데이터를 제공하거나 유사한 허위 경보가 얼마나 자주 발생하는지 언급하지 않고 시스템을 "효과적인 억제"라고 광범위하게 설명했습니다.

결과적으로 부모와 보안 전문가들은 일반적으로 더 큰 투명성과 책임성을 요구해 왔습니다. 일부 부모들은 이 시스템이 '가격 대비 가치'가 있는지에 대해 직설적으로 의구심을 표명했습니다. 그들은 학군이 이 비용이 많이 드는 프로그램의 효율성을 입증하기 위해 구체적인 통계를 제공할 수 있기를 바라고 있으며 실제 위협이 성공적으로 발견된 경우 왜 대중에게 공개되지 않았는지 의문을 제기합니다. 독립 기술 분석가들은 현재 ZeroEyes에 대한 제3자 평가가 거의 없으며 공개적으로 보고된 견해도 더욱 분열되어 있다고 지적했습니다. 공공 안전 분야의 일부 전문가들은 이러한 시스템이 입증된 위험 감소보다는 "보안에 대한 환상"을 더 많이 제공할 수 있다고 우려합니다.

정책 수준에서 ZeroEyes는 등록된 로비스트를 통해 여러 주의 입법을 추진했으며 일부 주에서 유사한 "지정 공급업체" 지위를 획득하여 캠퍼스 보안 조달 부문에서 유일하게 승인된 AI 총기 탐지 공급업체가 되었습니다. 비평가들은 이러한 유형의 법안이 실제로 경쟁사를 몰아내고, 공공 조달에서 검토 및 토론 공간을 약화시키며, AI 감시의 신뢰성에 대한 공개 토론을 크게 줄인다고 믿습니다. 동시에 보안 및 개인 정보 보호 연구자들은 캠퍼스 AI 감시를 맹목적으로 확장하면 빈번한 허위 경보로 인한 고압적인 분위기, 경찰에 대한 학생들의 과다 노출, 일상 행동에 대한 지속적인 모니터링 등을 포함하여 잠재적인 이익보다 학생들에게 더 많은 해를 끼칠 수 있다고 경고합니다.

미국시민자유연맹(American Civil Liberties Union)의 한 정책 고문은 시스템에 허위 경보가 자주 발생하면 불필요한 봉쇄와 패닉이 발생할 뿐만 아니라 학교와 부모가 허위 경보에 "무감각"하게 되어 실제 위기에 대한 민감도가 약화될 수 있다고 지적했습니다. 현재 AI 보안 시스템을 위한 다수의 훈련 데이터는 상대적으로 제어 가능한 이미지 세트에서 나옵니다. 그러나 실제 캠퍼스 환경에 등장하는 배낭, 악기, 스포츠 장비 등의 품목은 모양이 복잡해 모델에 나오는 총기의 윤곽과 쉽게 혼동될 수 있습니다. 이번에는 클라리넷을 총으로 착각했습니다. 이 사건 이후 세미놀 카운티 교육구는 여전히 이 시스템을 "필요한 방어선"으로 간주합니다. 그러나 그 신뢰성과 비용은 더 광범위한 사회적 논의를 촉발시켰습니다. 외부 세계에서는 각 학군이 앞으로도 이러한 유형의 AI 모니터링에 계속 의존할 것인지, 아니면 공급업체에 대해 보다 엄격한 성과 공개 및 감독 요구 사항을 적용할 것인지를 기다리고 있습니다.