요약:
Anthropic CEO Dario Amodei는 보안 평가 및 보호 조치를 위한 시간을 벌기 위해 최첨단 인공 지능 모델의 기능 개선 속도를 제어할 것을 촉구했습니다. 그는 영구적인 독립 평가자 도입, 주요 개발자의 안전 표준 조정, 국경 간 위험 관리 및 통제 협력 촉진을 제안했습니다.
독립 평가자가 내부 액세스 권한을 얻습니다
Amodei는 최첨단 AI 기업이 모델 테스트, 위험 보고, 안전 프레임워크 및 사고 처리 프로세스를 검토할 수 있도록 자격을 갖춘 독립 평가 팀에 직원 수준에 가까운 지속적인 액세스를 제공해야 한다고 제안했습니다.
Anthropic은 이 조치를 가장 먼저 시행하기 위해 최선을 다하고 있습니다. 외부 인력은 회사의 위험 평가 팀과 유사한 접근 권한을 가지며 Anthropic의 편집 통제 없이 결론을 발표할 수 있습니다.
이런 합의를 통해 평가자 선정, 자금 출처, 기밀 유지 의무 등의 문제를 해결해야 합니다. 모델 가중치, 교육 인프라, 보안 취약점은 매우 민감한 정보이며, 접근 권한을 확대하면 정보 보안 요구 사항도 높아집니다.
업계 조정으로 인해 보호되지 않는 역량 경쟁이 제한됩니다.
두 번째 권장사항에서는 주요 AI 연구소에 위험 테스트, 안전 임계값, 모델 출시 조건에 대한 공통 표준을 개발할 것을 요구합니다. Amodei는 경쟁 압력으로 인해 기업이 교육 및 출시 속도를 가속화하게 되어 보호 조치가 적시에 모델 기능을 따라잡기가 어려워질 수 있다고 믿습니다.
Anthropic의 책임 있는 확장 정책은 계층화된 메커니즘을 채택했습니다. 모델이 생물학, 사이버, 자동화된 R&D 또는 통제 상실 위험 임계값을 넘을 때 기업은 배포 보호 및 정보 보안 수준을 높여야 합니다.
기업 간 협력에는 독점 금지 경계가 포함될 수 있습니다. 안전 테스트 표준을 개발하기 위해 함께 협력하는 데에는 대중의 관심이 있지만 소규모 업체의 시장 진입을 제한하거나 제품 출시를 조정하거나 경쟁을 줄이는 경우 약정이 여전히 규제 조사의 대상이 될 수 있습니다.
국제협력은 국경을 넘는 위험을 포괄합니다
세 번째 권고사항은 중국과 같은 전략적 경쟁국과 최소한의 보안 협정을 맺는 것을 포함하여 정부 간 협력을 포함합니다. Amodei는 모델과 기술이 국경을 넘어 흐를 수 있으며, 단일 국가나 기업의 개발 속도가 느려지면 고위험 R&D가 규제가 약한 지역으로 이전될 수 있다고 믿습니다.
Anthropic이 나열한 잠재적 위험에는 생물 무기 활동을 지원하기 위한 모델 사용, 소프트웨어 취약점의 대규모 발견, 중요 인프라에 대한 공격, 개발자 제어를 벗어나는 AI 시스템 등이 포함됩니다. AI는 차세대 모델 개발에 자동으로 참여하여 기능 개선을 더욱 가속화할 수도 있습니다.
회사에서는 최첨단 개발자들이 시스템 카드와 정기적인 위험 보고서를 게시하고, 독립적인 검토를 수용하고, 지정된 정부 기관에 필요한 정보를 제공해야 한다고 제안합니다. 정부는 명확한 한계점과 항소 메커니즘을 마련하여 치명적인 피해를 일으킬 수 있는 모델의 배포를 예방하거나 지연할 수 있는 제한된 권한을 가져야 합니다.
업계 지원은 아직 계약으로 전환되지 않았습니다.
OpenAI CEO인 Sam Altman은 독립적인 평가자에게 내부 액세스 권한을 제공하는 것을 지지하며 OpenAI도 유사한 방식을 채택할 것이라고 말했습니다. Google DeepMind CEO Demis Hassabis와 xAI 책임자 Elon Musk도 Amodei의 전반적인 방향을 공개적으로 지지했습니다.
관련 진술은 아직 구속력 있는 산업 계약을 체결하지 않았습니다. 어떤 능력 지표가 속도 저하나 정지를 촉발할지, 독립적인 검토가 의무적인 효력을 가질지 여부, 국경 간 협약이 어떻게 시행될지는 기업과 정부에 의해 추가로 결정됩니다.
댓글