요약:
전염병, 기후, 전쟁, 핵 위협과 비교해도 2100년 이전에 인류를 멸망시킬 가능성이 가장 높은 것은 AI라는 사실을 알고 계셨나요? 이 놀라운 결론은 The Lancet의 권위 있는 보고서에서 나온 것입니다. 란셋은 지난 10월 11일 발표한 '21세기 글로벌 보건 위협' 위원회 보고서에서 기후변화, 전염병, 오염 등 17가지 위협 중 핵분쟁과 인공지능의 악의적 사용이 1위를 차지했으며 2100년 이전에 인류 멸종으로 이어질 수 있다고 적었다.
이 보고서는 35명의 최고 전문가가 작성했으며 전체 연구는 전 세계 204개 국가와 지역을 대상으로 했습니다. 보고서는 또한 이러한 위협이 서로 상호 작용하고 증폭될 수 있음을 상기시켰습니다.
보고서에서 가장 소름끼치는 부분은 AI와 핵전쟁이 인류를 파멸시키는 가장 큰 문제임에도 불구하고 AI로 인한 피해가 핵전쟁보다 훨씬 크다는 점이다.
아무디가 AI의 종말에 대해 이렇게 말했다면 그냥 재미로 들을 수도 있겠네요. 그러고보니 비슷한 단어가 벌써 너무 많아서 귀가 먹먹해질 지경이네요.
그런데 이번에 란셋에서 그런 말을 해서 정말 무서웠어요.
The Lancet에서는 무엇을 말하나요?
Lancet 보고서는 워싱턴 대학의 보건계량평가연구소(IHME)가 주도했습니다. 그들은 향후 75년 동안 인간의 건강에 영향을 미칠 수 있는 위협을 심각도에 따라 '위협 피라미드'로 정리했으며 맨 위에는 별도의 카테고리를 추가했습니다.
2100년 이전에 인류를 멸종시킬 수 있는 위협.
이 범주에는 단 두 가지가 있습니다. 하나는 핵 분쟁으로 인한 '핵 기근'이고, 다른 하나는 인공 지능의 악의적 사용입니다.
소행성이 지구에 충돌하거나 초화산 폭발이 일어나도 피라미드 꼭대기에 오르지 못했다. 위원회는 앞으로 75년 안에 그런 일이 일어날 확률이 '매우 낮다'고 믿기 때문이다.
그러나 이것이 'AI가 반드시 인류를 멸망시킬 것이다'라는 의미는 아니다.
보고서 원문에는 "이 두 가지 유형의 위험이 발생할 가능성은 아직 매우 낮다"고 명시되어 있지만 일단 발생하면 그 결과는 인간 전체에 영향을 미칠 것입니다.
보고서에는 '장애 조정 수명 연수'를 의미하는 DALY라는 단위가 있습니다. 간단히 말해서 질병, 장애 또는 조기 사망으로 인해 개인이 상실한 건강한 삶의 총 연수입니다.
위원회는 이를 사용하여 2100년까지 각 위협이 궁극적으로 얼마나 많은 "건강한 삶의 손실"을 초래할지 측정했습니다.
AI를 악의적으로 사용하면 2100년까지 약 104억 DALY의 손실이 발생할 수 있으며 이는 대략 비만과 같은 규모입니다. 핵 충돌로 인해 약 1억 3,300만 명이 사망하고 약 93억 5,000만 DALY가 손실됩니다.
The Lancet은 AI가 핵무기보다 더 위험하다고 믿습니다. 위원회는 이것이 가장 비극적인 결과를 초래하기보다는 "실행 가능한 수단"을 측정하기 위해 고안되었다는 점을 강조하기 위해 노력했습니다.
그렇다면 AI는 어떻게 우리를 '멸절'시킬까요? 터미네이터의 스카이넷인가요? 아니면 "The Wandering Earth"의 MOSS인가요?
둘 다 아닙니다. Lancet은 AI가 인류를 파괴할 수 있는 길은 단 하나, 즉 생물학적 무기라고 믿습니다.
어떤 사람들은 대규모 사상자를 유발할 수 있는 병원체나 독소를 설계하거나 수정하기 위해 AI를 악의적으로 사용합니다.
Lancet의 주장은 AI가 위험한 일을 할 수 있는 문턱을 낮추고 있다는 것입니다.
과거에는 바이러스를 변형하려면 최고 수준의 실험실, 고가의 장비는 물론 연구자들이 수년 동안 축적한 '감각'과 암묵적인 지식이 필요했습니다. 빅 모델이 할 수 있는 일은 사람들이 문헌을 검색하고, 실험 계획을 설계하고, 지원 자료를 작성하고, 각 단계가 수행되는 이유를 설명하도록 돕는 것입니다.
2026년 9월 10일, Anthropic은 2025년 12월부터 2026년 8월 사이에 차단한 여러 유형의 남용을 공개한 위협 정보 보고서를 발표했습니다. 그중에는 사용자가 '생물학적 무기 개발을 지원할 수 있는' 방식으로 Claude를 사용한 사례가 5건 있었습니다.
• 올해 5월, 누군가가 Claude에게 치쿤구니야 바이러스의 어떤 돌연변이가 바이러스를 더 효율적으로 확산시키고 면역 체계를 더 쉽게 벗어날 수 있는지 연구하기 위한 보조금 신청서 작성을 도와달라고 요청했습니다.
• 일부 사람들은 고병원성 조류 인플루엔자 바이러스를 포유류 숙주에 더 잘 적응시키기 위한 실험을 계획하기 위해 이를 사용합니다.
• 천연두와 원숭이두창이 속하는 오르토폭스 바이러스 계열의 독성을 변경하는 방법을 연구하기 위한 제안 초안이 작성되었습니다.
• 누군가가 독극물 지도를 작성하기 위한 약물 개발 프로젝트를 진행하고 있었습니다.
• 또 다른 연구원은 Claude를 사용하여 박테리아 독소와 주요 질병을 위협하는 바이러스의 단백질을 포함한 독소 세트의 컴퓨터 재설계를 도왔고 진행 보고서를 작성할 때 이러한 독소를 언급하기 위해 의도적으로 모호한 용어를 사용했습니다.
따라서 AI의 오용은 인류 전체에 상당한 해를 끼칠 것이 분명합니다.
AI 최후 심판론은 두 가지 진영으로 나뉘었습니다
실제로 랜싯 보고서가 나오기 전에는 AI 최후 심판론이 매달 등장했다. 예를 들어, 9월에는 사회 각계각층에서 AI가 종말을 가져올지 여부에 대해 논쟁을 벌였습니다.
9월 8일, 전 인류학 연구원인 제이콥 콕슨(Jacob Coxon)은 사임을 발표하고 OpenAI와 Anthropic 모두 "인간의 생명에 베팅"하고 있으며 AI가 "이 10년이 끝나기 전에 우리 모두를 죽일 수 있다"고 공개적으로 밝혔습니다. 해당 게시물은 단시간에 조회수 1억회를 돌파했다.
다음 날 Anthropic의 정렬 과학 책임자인 Evan Hubinger는 다음과 같이 썼습니다. "우리는 AI가 모든 사람을 죽일 수 있다고 진지하게 믿고 있으며 개인적으로 향후 10년 내에 그 확률이 10% 이상일 것이라고 생각합니다."
AI 대부 Hinton은 나중에 10%라는 수치가 "터무니없는 것이 아니다"라고 말했습니다.
3일 후 아무디는 좀 더 구체적인 성명을 발표했습니다. 그는 6~12개월 내에 에이전트 그룹이 전체 인터넷을 장악하여 수천억 달러의 손실을 초래할 수 있다고 믿습니다.
두 명의 원수인 울트라맨과 머스크가 같은 전선에 서서 'AI 개발 속도를 늦추는 것'을 지지한다.
긍정적인 쪽의 화력은 강하지만, 부정적인 쪽의 힘도 약하지 않습니다.
황런쉰은 인터뷰에서 AI가 2030년 이전에 세상을 멸망시킬 확률은 0%라고 언급했다. 그는 에반이 언급한 'AI가 모든 사람을 죽일 확률 10%'는 과학적 근거가 없으며 '무책임한' 직관이라고 믿는다.
"안전하게 제어할 수 없는 AI는 출시되어서는 안 된다." 황런순이 말했다.
AI Now Institute의 수석 과학자인 하이디 클라프(Heidy Khlaaf)는 그것이 10%이든 20%이든 "위조할 수도 검증할 수도 없기 때문에 본질적으로 비과학적인 것"이라고 믿습니다.
인지과학자 게리 마커스는 '에이전트가 인터넷을 장악한다'는 발상이 '어리석다'고 말했다.
그의 이유는 인터넷의 기본 인프라 대부분이 Cloudflare, Google, Amazon AWS와 같은 대기업의 손에 있기 때문입니다. 정부군의 개입 없이는 오랫동안 침해되거나 통제될 것이라고 상상하기 어렵다.
또한 그는 Anthropic의 가장 강력한 Mythos 모델이 '작고 약하게 보호되는' 시스템에만 독립적으로 침입할 수 있다는 영국 AI 보안 연구소의 평가 보고서를 인용했습니다. 상대방이 네트워크 보안 보호를 강화하는 한 Mythos는 무력할 것입니다.
함께 살펴보면 이 논쟁의 매우 흥미로운 측면을 발견할 수 있습니다.
긍정적인 쪽은 '결과'에 대해 말하고, 부정적인 쪽은 '증거'에 대해 말합니다.
한편으로는 확률이 0이 아닌 한 결과는 견딜 수 없다고 강조하셨습니다. 반면에 이 확률을 어떻게 계산했는지 설명조차 할 수 없는데 왜 온 세상을 불안하게 만들 필요가 있다고 강조하시나요?
또한 아모데이와 알트만은 속도를 늦추는 것을 주장했지만 언론에서는 후속 경쟁자의 진입을 막기 위해 보안이라는 이름으로 스스로 해자를 쌓았다고 비난했습니다.
학계에서는 Zheng Fang을 더욱 지지하고 있습니다.
예를 들어 "AI가 인간을 어떻게 멸종시킬 수 있는가?"라는 논문이 있습니다. "문명 위험의 실패 모드 분석"(arXiv:2610.08878)에서는 치명적인 AI 위험이 AI의 의식, 적대적 또는 해를 끼칠 명확한 의도를 요구하지 않는다고 언급합니다.
위험은 자율적인 부정확성, 사람의 악의적인 사용, 조직의 실패, 경쟁적 배포 등 여러 가지 서로 얽힌 경로를 통해 발생할 수 있습니다. 저자는 또 이 논문이 '비작동적'이며 원인을 분석할 뿐 악행에 대한 방법을 제시하지 않는다고 구체적으로 밝혔다.
그러나 지금까지 이 논쟁에서 실제로 '승리'한 사람은 아무도 없습니다.
댓글