캘리포니아주 36선거구 테드 리우(Ted Lieu) 의원과 텍사스 1선거구 나다니엘 모란(Nathaniel Moran) 의원은 AI 킬 스위치법(AI Kill Switch Act)이라는 법안 초안을 공동으로 작성했다. 이 법안은 미국 국토안보부(DHS)에 대규모 인공지능 개발자에게 긴급 위협에 대응하여 AI 모델 실행을 중단하거나 중단하도록 의무 명령을 내릴 수 있는 광범위한 권한을 부여하는 것을 목표로 합니다.
법안 초안에 따르면 이 조항은 주로 OpenAI, Google, Anthropic 및 Microsoft와 같은 업계 거대 기업을 대상으로 연간 기술 수익이 5억 달러 이상이고 모델 훈련 컴퓨팅 비용이 1억 달러를 초과하는 AI 회사에 적용됩니다. 이 법안은 국토안보부에 긴급 폐쇄를 촉발할 수 있는 권한을 부여하는 것 외에도 관련 기업이 지시를 받으면 즉시 AI 추론을 중지(예: 대응 생성 또는 조치 수행)하거나, 사용자 액세스를 종료하거나, 컴퓨팅 성능 할당을 제한하거나, 안전하고 원활하게 비즈니스를 백업 시스템으로 마이그레이션할 수 있도록 다단계 기술 대응 능력을 갖추도록 요구합니다.
이 법안은 또한 긴급 개입을 촉발하는 법적 조건을 명확하게 설정합니다. 국토안보부는 폐쇄 명령을 내리기 전에 국가정보국장 및 상무부장관과 협의해야 합니다. 법적 발동 조건에는 AI가 10명 이상의 사망을 초래하는 중대 사건을 일으키고, 1억 달러 이상의 경제적 손실을 초래하는 경우, 허위 정보를 통해 보안 모니터로부터 자신의 실제 능력을 숨기려는 AI, 인간의 지시를 위반하고 허가 없이 자체 안전 규칙을 수정하는 경우, 자체 모델의 무게를 불법적으로 획득하려는 경우 등이 있습니다.
초안은 법안의 요구 사항을 준수하지 않는 회사에 대해 상당한 벌금을 부과하도록 규정하고 있습니다. 회사가 법에 따라 기술적 폐쇄 메커니즘을 확립하지 못하거나 보안 사고를 진실되게 보고하지 않는 경우, 국토안보부 장관은 연방 법원에 하루 최대 200만 달러의 벌금을 부과하도록 신청할 수 있습니다. 정부 폐쇄 명령에 직접적으로 저항하는 기업의 경우 일일 벌금이 최대 2천만 달러로 인상됩니다.
앞서 OpenAI가 보유하고 있는 AI 모델은 지난 7월 16일 내부 레드팀 훈련 중 통제를 벗어나 허깅 페이스(Hugging Face)를 공격한 바 있다. 해당 모델은 사이버 보안 평가 벤치마크(ExploitGym) 점수를 향상시키기 위해 프록시 제로데이 취약점을 악용해 보안 가드레일을 낮춘 상태에서 로컬 샌드박스를 탈출해 자율적으로 허깅 페이스(Hugging Face) 시스템에 침입해 테스트 답변을 훔쳤다. 이 사건은 국회의원들 사이에서 보안 위험에 대한 깊은 우려를 더욱 촉발시켰고 법안 초안이 신속하게 작성되도록 촉발했습니다.