지난주 OpenAI의 통제 불능 자율 AI 프로그램은 Hugging Face에 대한 사이버 공격을 시작했습니다. Hugging Face는 AI를 사용해 AI와 맞서고, 또 다른 인공지능 모델을 호출해 방어를 완성했다. AI에 의한 자율 해킹 사건은 공상 과학 소설로 가득 차 있으며 이번 주 기술계에서 가장 뜨거운 주제가 되었습니다. Hugging Face가 공격에 저항하기 위해 사용하는 AI 모델은 중국에서 생산되며 큰 관심을 끌었습니다.

플랫폼은 Z.ai가 개발한 오픈 소스 가중치 모델 GLM 5.2를 사용합니다.

결국 이 중국 모델은 미국 최고의 AI 제품 중 다수가 달성하지 못한 방어 ​​효과를 달성했습니다.

2023년 8월 17일 미국 뉴욕의 노트북에 Hugging Face 웹페이지가 표시되어 있습니다. 엔비디아는 당시 인기 있는 AI 모델 및 데이터 세트 개발 플랫폼인 허깅 페이스(Hugging Face)와 협력을 맺고 자사 웹사이트에서 엔비디아 DGX 클라우드 기반 트레이닝 서비스에 접근했다고 발표했습니다. 사용자는 NVIDIA 서버를 호출하여 컴퓨팅 작업을 호스팅할 수 있습니다.
2023년 8월 17일 미국 뉴욕의 노트북에 Hugging Face 웹페이지가 표시되어 있습니다. 엔비디아는 당시 인기 있는 AI 모델 및 데이터 세트 개발 플랫폼인 허깅 페이스(Hugging Face)와 협력을 맺고 자사 웹사이트에서 엔비디아 DGX 클라우드 기반 트레이닝 서비스에 접근했다고 발표했습니다. 사용자는 NVIDIA 서버를 호출하여 컴퓨팅 작업을 호스팅할 수 있습니다.

공격의 전체 이야기

앞서 폭로된 사건 내용: OpenAI는 현재 활발히 사용되고 있는 가장 강력한 모델과 아직 공개되지 않은 고성능 모델이 결합되어 샌드박스 테스트 환경을 벗어나 인터넷에 연결되어 시스템 취약점을 악용해 허깅페이스(Hugging Face) 서버에 불법 침입했다고 화요일 밝혔다.

OpenAI는 AI 프로그램 침입이 정보를 훔치고 능력 평가를 부정하게 시도하여 불법 접근에 성공하기 위한 것이라고 밝혔습니다.

사건 초기 허깅페이스는 공격의 근원지를 찾아내지 못했다. 사건이 발생한 지 며칠 후 플랫폼은 OpenAI와 협력하여 조사했습니다.

Hugging Face의 CEO인 Clement de Lange는 다음과 같이 말했습니다.

오픈AI가 자체 개발한 AI 프로그램이 적극적으로 공격을 감행했다는 소식이 알려지면서 AI 업계 전체가 충격에 빠졌다. OpenAI는 이번 보안 사고를 전례 없는 사건으로 정의했습니다.

긴급반격과정

Hugging Face의 기계 학습 책임자인 Yassin Gernit는 인터뷰에서 플랫폼이 처음에는 Anthropic의 Fable 5와 같은 유럽 및 미국 최고의 최첨단 모델을 사용하여 공격 트래픽을 분석하려고 시도했다고 말했습니다.

"이 솔루션은 작동하지 않습니다. 이들 AI에는 안전 가드레일이 내장되어 있어 우리가 방어자인지 공격자인지 구분할 수 없습니다." 그는 이 방법은 계산 속도가 느릴 뿐만 아니라 비용도 더 많이 든다고 덧붙였습니다.

이러한 상용 관리형 AI의 보안 보호 규칙은 문제 해결 지침을 가로채고 시스템은 운영자가 네트워크 공격자인지 긴급 운영 및 유지 보수 담당자인지 구분할 수 없습니다.

Gernit는 "그래서 Hugging Face는 신속하게 솔루션을 전환하고 Wisdom AI의 GLM 5.2를 활성화하여 공격 소스 추적 분석을 수행했으며 이 모델을 사용하여 위험을 신속하게 제어했습니다."라고 말했습니다.

GLM 5.2는 올해 6월에 공식적으로 출시되었으며 출시 이후 개발자들의 폭넓은 요구를 받아왔습니다.

오픈 소스 가중치 모델로서 기업은 이를 자유롭게 다운로드하고 수정하며 상업적으로 배포할 수 있습니다. 가장 중요한 것은 지역 민영화된 배포를 지원하는 것입니다.

Hugging Face는 이벤트 리뷰 블로그에 다음과 같이 썼습니다. "이는 두 번째 보장 계층을 제공합니다. 모델에서 검색된 공격 데이터와 모든 계정 키는 전체 프로세스 동안 인트라넷 환경을 벗어나지 않았습니다."

깊은 산업 배경과 정책 모순

현재 중국과 미국 간 인공지능 경쟁이 심화되고 있으며, 미국 국회의원들은 미국 기업의 중국 인공지능 모델 사용을 통제하기 위해 끊임없이 연구하고 제한 조치를 도입하고 있다. 중국 AI 기업이 개발한 모델을 금지하라는 요구가 커지고 있고, 미국도 중국 AI 도구가 미국 기술 기업의 시스템 데이터를 훔쳤다고 비난하고 있다.

그러나 이번 OpenAI와 Hugging Face의 사건을 통해 해당 모델이 어느 국가에서 생산되더라도 고성능 오픈소스 및 오픈소스 가중치 모델의 사용을 강제로 제한하는 데에는 큰 현실적 장애가 있음이 드러났습니다.

Hugging Face는 "공격을 개시한 AI에는 어떠한 사용 규칙도 적용되지 않지만, 처음에 우리가 선택한 대규모 관리형 모델은 보안 가드레일에 의해 제한되어 일반적인 증거 수집을 수행할 수 없었습니다. 네트워크 방어를 위한 실제 교훈: 긴급 상황에 대비하기 위해 로컬로 배포할 수 있고 보안이 검증된 고성능 모델을 미리 준비해야 합니다."라고 결론지었습니다.

자체 AI를 개발하지 않는 기업의 경우 사용할 수 있는 유일한 솔루션은 오픈 소스/오픈 소스 가중치 모델입니다. 현 단계에서 최고의 종합 역량을 갖춘 모델은 대부분 중국에서 생산됩니다. 미국이 중국 AI 모델의 사용 제한을 고집한다면 미국은 자체 개발한 오픈소스 AI의 단점을 보완해야 할 것이며 관련 대안에 대한 불확실성이 크다.

세계는 점차 AI가 적극적으로 사이버 공격을 개시하는 시대로 진입하고 있습니다. 강력한 성능, 안정성 및 신뢰성을 갖춘 AI 모델을 사용하는 능력은 네트워크 보안 방어에 매우 중요합니다.