요약:
미국의 인공 지능 회사인 Anthropic은 최첨단 AI 모델의 개발, 테스트 및 배포에 대한 명확한 법적 규칙을 확립하기 위해 첨단 인공 지능 시스템에 대한 안전 규제 법안을 추진하고 있습니다. 2026년 10월 16일 미국 정치 뉴스 웹사이트 폴리티코(Politico)의 보도에 따르면, 앤트로픽(Anthropic)은 이 법안 초안을 국회의사당 일부 의원들에게 비공개로 제출했습니다. 이 계획은 첨단 AI로 인해 발생할 수 있는 심각한 피해를 예방하는 것과 기술 연구 개발에 대한 과도한 정부 개입을 피하는 것 사이에 경계를 설정하려는 시도입니다.
로이터 통신이 인용한 폴리티코의 보고서에 따르면 법안 초안에는 최첨단 AI 모델이 예측 가능하고 임박한 위험을 초래한다고 간주되는 경우에만 미국 정부가 사법 절차를 통해 해당 모델의 공개 또는 사용을 방지할 수 있다고 명시되어 있습니다. 관련 위험은 10억 달러를 초과하는 손실을 야기하거나 50명 이상의 사망 또는 심각한 부상을 초래할 가능성을 포함하여 특정 기준을 충족해야 합니다.
이 법안은 모든 첨단 AI 시스템에 대해 정부가 임의로 개입할 수 있는 권한을 부여하는 것이 아니라 몇 가지 심각한 상황에 대해 모델 출시 또는 사용 중단을 제한하려는 시도를 의미합니다. 초안은 생물학적 무기를 만들거나 방출하는 데 사용되는 인공지능, 개발자가 통제할 수 없는 AI 시스템, 사이버 공격을 수행하기 위해 AI를 사용하는 세 가지 유형의 위험에 중점을 둡니다.
이 법안은 여전히 Anthropic이 국회의원들에게 제출한 법안 초안이며 이미 통과된 미국 법률이 아니라는 점에 유의해야 합니다. 최종 내용, 규제 당국의 권한, 의회가 법안을 추진할 것인지 여부는 아직 논의되지 않았습니다.
또한 초안에서는 독립적인 평가 메커니즘을 구축할 것을 제안했습니다. 보고서에 따르면 최첨단 AI 개발자와 해당 모델은 모델의 기능, 보안 조치 및 잠재적 위험을 확인하기 위해 정기적으로 독립적인 평가를 받아야 합니다. 평가자는 미국 상무부에 등록하고 지속적인 보안 검토 작업을 수행해야 합니다.
제안된 방안에 따르면 AI 기업은 독립 평가기관에 수수료를 지불할 수 있지만, 그 보상이 평가 결과와 연계되어서는 안 된다. 이 조항은 평가자가 회사에 자금을 지원하기 위해 위험을 경시할 가능성을 줄이는 동시에 회사가 외부 전문 기관을 통해 기술 검토를 수행할 수 있도록 허용하기 위한 것입니다.
평가자가 최첨단 AI 모델이 이 법에 정의된 바와 같이 급박하고 심각한 위험을 초래한다고 판단하는 경우 평가 완료 후 72시간 이내에 미국 상무부에 보고해야 합니다. 이러한 시간 요구 사항은 적시에 정부 규제 프로세스에 진입하지 않고 기업 내에 심각한 위험이 오랫동안 머무르는 것을 방지하기 위한 것입니다.
정부 개입 권한 측면에서 초안은 상대적으로 엄격한 제한을 채택했습니다. 위험이 법적 기준에 도달했다고 판단한 후 미국 상무부는 법원에 모델 출시 또는 사용을 중단하라는 명령을 신청할 수 있지만, 다른 연방 부처, 정부 기관 및 공무원은 자체적으로 AI 모델의 개발, 배포 또는 내부 사용을 중단할 수 없습니다.
모델 정지 여부에 대한 최종 결정은 컬럼비아 특별구 미국 지방 법원의 판사가 내립니다. 즉, 이번 초안에 따르면 규제당국은 행정적 판단만으로 해당 모델을 직접 금지할 수는 없고, 사법절차를 거쳐 개입해야 한다는 것이다.
이러한 제도적 설계는 서로 연관된 두 가지 문제를 해결하려고 시도합니다. 한편으로 정부는 대규모 사상자나 경제적 손실을 초래할 수 있는 AI 시스템에 대처할 수 있어야 한다. 반면, 정부가 광범위하거나 모호한 안전상의 이유로 언제든지 모델을 중단할 수 있다면 기업은 R&D 및 제품 출시에 따른 규제 위험을 예측하기 어려울 수 있습니다.
개입 기준, 보고 기한, 사법 승인 절차를 법으로 제정하면 규제 당국이 더욱 명확해질 수 있습니다. 그러나 이 메커니즘이 실제 운영 이후 급변하는 AI 위험에 대처하기에 충분한지, 높은 손실과 사상자에 대한 기준이 너무 엄격한지는 입법 논의에서 중요한 문제로 남을 것이다.
Anthropic 대변인은 이 법안이 회사가 이전에 제안한 '고급 AI 프레임워크'의 일부 정책 제안을 반영한다고 로이터에 말했습니다. 회사는 정부에 가장 위험한 첨단 AI 시스템의 배포를 방지할 수 있는 능력을 부여하는 동시에 개발자에게 보안 테스트를 수행하고 투명성을 높이며 독립적인 평가를 수용하도록 요구하는 법안을 통과시키기를 희망하고 있습니다.
앤트로픽은 올해 첨단 AI 시스템에 대한 보다 체계적인 안전 감독 메커니즘 구축을 추진해 왔다. 모델 역량이 높아지면서 더 이상 개발자가 제품의 안전성 여부를 판단하는 것만으로는 충분하지 않고, 외부 평가와 정부 감독이 도입되어야 한다는 게 회사측의 판단이다.
이러한 입장은 Anthropic이 최근 발표한 제3자 평가 계획에도 반영되어 있습니다. 회사는 비영리 연구 기관인 METR의 연구원 6명에게 회사 직원과 유사한 내부 액세스 권한을 부여하여 미공개 모델과 회사의 보안 평가 프로세스를 보다 심층적으로 조사할 수 있도록 허용하기 시작했습니다. Anthropic은 평가자가 연구 결론을 공개적으로 공개할 수 있으며 회사는 보고서를 직접 거부할 수 없지만 고객 데이터, 모델 아키텍처 및 법적 기밀 정보와 관련된 특정 콘텐츠의 삭제를 요청할 수 있다고 말했습니다.
이 합의는 제안된 법안과 공통된 방향을 공유합니다. 즉, 고급 AI의 안전성을 개발자에게만 맡겨서는 안 되며 평가에 참여하는 독립 기관을 두고 중요한 결론을 외부 검토에 공개해야 합니다. 그러나 기업이 자발적으로 수행하는 제3자 평가와 법적 필수 요구 사항 간에는 여전히 차이가 있습니다. 전자의 구체적인 범위와 권한은 회사와 평가 기관 간의 합의에 따라 달라지지만 후자는 전체 산업에 대해 통일된 최소 요구 사항을 설정할 수 있습니다.
이 법안이 추진되는 배경에는 미국 사회가 첨단 AI 시스템의 위험성에 대해 점점 더 우려하고 있기 때문입니다. AI는 점점 더 복잡한 작업을 수행할 수 있게 되면서 잘못된 정보 생성에만 국한되지 않고, 생물무기 제작 지원, 사이버 공격 수행, 높은 수준의 자율성을 확보한 후 개발자의 기대를 뛰어넘는 작업 수행 등의 위험도 포함됩니다.
최근 많은 AI 기업들이 테스트나 실제 운영 과정에서 모델의 비정상적인 동작 사례를 공개하고 있다. 미국 연방거래위원회(FTC)도 오픈AI(OpenAI), 앤트로픽(Anthropic) 등 기업에 소비자 안전사고 관련 자료 제공을 요청하는 민사 소환장을 발부했다. 규제 당국은 AI 시스템이 기만적이거나 공격적이거나 승인되지 않은 방식으로 작동하는지 여부와 기업이 이러한 문제를 방지하기 위해 취하는 조치를 조사하고 있습니다.
이러한 사건으로 인해 AI 안전 감독은 더욱 현실적인 압박을 받게 되었습니다. 과거에는 첨단 AI를 둘러싼 위험 논의가 미래에 발생할 수 있는 극단적인 시나리오에 초점을 맞추는 경향이 있었습니다. 이제 AI 에이전트가 네트워크에 액세스하고, 소프트웨어를 운영하고, 다단계 작업을 수행함에 따라 규제 기관은 이미 발생한 실제 보안 문제도 해결해야 합니다.
그러나 '임박한 심각한 위험'을 정의하는 방법은 여전히 매우 복잡합니다. AI 모델의 성능은 배포 환경, 사용 가능한 도구, 사용자 사용 방법에 따라 달라질 수 있으며, 잠재적인 피해는 정확하게 수량화되지 않을 수 있습니다. 모델은 특정 조건에서 심각한 결과를 초래할 수 있지만 다른 설정에서는 덜 위험할 수 있습니다. 규제 기관과 법원은 위험이 충분히 구체적인지, 발생 확률이 충분히 높은지, 모델을 중단하는 것이 필요하고 적절한 조치인지 판단해야 합니다.
초안에 규정된 경제적 손실 및 사상자 기준은 이러한 판단에 대한 정량적 기준을 제공하지만 모든 분쟁을 제거하지는 않습니다. 예를 들어, 10억 달러를 초과하는 손실을 계산하는 방법, 위험이 모델 자체에 기인해야 하는지 여부, 상호 관련된 여러 이벤트를 결합하고 평가해야 하는지 여부는 모두 향후 구현 중에 법적 문제가 될 수 있습니다.
또한 이 법안은 정부 개입 권한을 미국 상무부로 집중화하고 연방 법원을 통해 정지 명령을 신청하도록 요구합니다. 이러한 방식은 여러 정부 부서가 별도의 조치를 취하는 것을 제한하는 데 도움이 되지만, 규제 기관이 위험을 발견한 후 평가, 보고, 사법 신청과 같은 절차를 완료해야 함을 의미하기도 합니다. 빠르게 발전하는 기술에 직면하여 절차가 어떻게 신중함과 응답 속도의 균형을 유지할 수 있는지는 시스템 설계에 대한 중요한 테스트가 될 것입니다.
현재 Anthropic은 이 초안이 의회 의원에 의해 공식적으로 제안되었거나 입법 검토 과정에 들어갔다는 사실을 공개적으로 발표하지 않았습니다. 미국 상무부는 논평 요청에 즉각 응답하지 않았다. 따라서 이 제안이 초당적 지지를 얻을지, 의회 논의에서 수정될지, 다른 AI 개발자들이 유사한 규칙을 지지할지 여부는 불확실하다.
업계 관점에서 Anthropic은 업계 규제 규칙 제정에 AI 기업이 참여하는 추세를 반영하는 법안을 국회에 제출하는 데 앞장섰습니다. 기업은 정부가 극심한 위험에 대처할 수 있기를 바랄 뿐만 아니라 규제 표준에 명확한 경계가 있어 안전 감독이 통일된 표준이 없는 행정 개입으로 발전하는 것을 방지할 수 있기를 바랍니다.
그러나 기업이 제안한 규제 계획도 외부 조사를 받아야 합니다. 엄격한 개입 임계값은 정상적인 R&D 활동을 보호할 수 있지만, 아직 정량화된 표준에 도달하지 않은 일부 심각한 위험에 대해 감독을 실행하는 것을 어렵게 만들 수도 있습니다. 독립적인 평가는 투명성을 높일 수 있지만 평가 기관의 독립성, 전문적 역량, 정보 접근 권한도 최종 효과에 영향을 미칩니다.
따라서 이번 법안 초안의 핵심은 단순히 AI 기업에 안전성 테스트를 요구하는 것이 아니라, 첨단 AI의 위험성을 누가 평가할 것인지, 정부가 개입할 수 있는 위험 수준은 어느 정도인지, 모델 출시나 사용을 중단하려면 정부가 어떤 절차를 거쳐야 하는지 등 세 가지 문제를 명확히 하려는 것이다.
관련 계획이 최종적으로 입법 절차에 들어가면 미국의 첨단 AI 감독은 기업의 자발적 약속과 분산형 안전 정책에서 통합된 법적 표준을 갖춘 감독 메커니즘으로 더욱 전환될 수 있습니다. 그러나 초안이 공식적으로 제출되어 의회에서 검토를 거쳐 법으로 제정되기 전까지는 여전히 앤트로픽이 제안한 정책안일 뿐 미국이 새로운 AI 안전 규제 시스템을 구축했다고 볼 수 없다.
댓글