구글은 현재 진행 중인 사이버 공격 중 인공지능이 개발한 것으로 의심되는 제로데이 익스플로잇을 보안팀이 발견해 성공적으로 차단했다고 처음으로 공개했다. Google Threat Intelligence Group(GTIG)이 발표한 보고서에 따르면, 이 공격은 "대규모 악용 이벤트"를 시작하고 이름 없는 "오픈 소스, 웹 기반 시스템 관리 도구"를 대상으로 하고 이를 사용하여 플랫폼의 2단계 인증(2FA) 메커니즘을 우회하려는 시도로 "유명한 사이버 범죄 위협 행위자"에 의해 조율되었습니다.
구글 연구원들은 AI에 의해 생성된 것으로 의심되는 공격을 수행하는 데 사용된 Python 익스플로잇 스크립트에서 "환상적인 CVSS 점수"와 전체적으로 교과서와 같은 구조화된 레이아웃 스타일을 포함하여 여러 단서를 발견했습니다. 이러한 기능은 대규모 언어 모델의 일반적인 교육 데이터 형식과 매우 유사합니다. 보고서에 따르면 이 취약점은 본질적으로 플랫폼의 2FA 설계에서 "신뢰 가정을 하드코딩"하여 발생하는 "고수준 의미론적 논리 결함"으로 공격자에게 자동화된 도구로 증폭될 수 있는 진입점을 제공한다고 명시되어 있습니다.
이번 사건은 Anthropic이 출시한 Mythos 모델, 최근 AI를 활용한 Linux 커널 취약점 발견 등 사이버 보안 시나리오에 초점을 맞춘 AI 모델의 역량에 대해 업계가 치열한 논쟁을 벌이고 있는 시기에 발생했으며, 이로 인해 공격과 방어 모두에서 AI의 역할에 대한 지속적인 관심이 촉발되었습니다. 구글은 실제 공격에서 AI가 취약점 악용 과정에 직접 관여했다는 명확한 증거를 발견한 것은 이번이 처음이라고 밝혔지만, 연구팀은 현재 “이번 공격에 구글의 자체 Gemini 모델이 사용됐다고는 믿을 수 없다”고 지적했다.
구글은 이 특정 공격을 성공적으로 '차단하고 차단'했다고 밝혔지만, 해커들이 보안 취약점을 발견하고 악용하기 위해 점점 더 체계적으로 AI를 사용하고 있으며, 초기 정보 수집부터 취약점 마이닝 및 악용 코드 작성까지 자동화가 가속화되고 있다고 경고했습니다. 보고서는 또한 AI 시스템 자체와 생태계도 새로운 공격 표면이 되고 있음을 상기시킵니다. 공격자들은 새로운 침입 경로를 찾기 위해 외부 도구 인터페이스, 자율적으로 작업을 수행하는 타사 데이터 커넥터 등 AI 기능을 제공하는 보다 통합된 구성 요소를 표적으로 삼기 시작했습니다.
구글은 AI를 사용해 공격 코드를 작성하는 것 외에도 보고서에서 확산 기법의 한 유형을 '성격 기반 탈옥'이라고 명명했다. 공격자는 모델이 수석 보안 연구원 또는 침투 테스트 전문가로 "행동"할 수 있도록 프롬프트 단어를 신중하게 구성하여 시스템에서 잠재적인 보안 취약점을 찾는 데 도움을 주거나 악용 아이디어를 생성하는 것을 포함하여 보안 정책에 의해 가로채야 하는 콘텐츠를 출력하도록 유도합니다. 구글은 이러한 유형의 공격 패턴은 네트워크 보안 분야에서 AI의 역할이 단순한 방어 도구에서 공격과 방어 모두에 대한 새로운 '승수'로 빠르게 진화하고 있음을 보여준다고 강조했습니다. 미래에는 AI가 깊이 개입된 제로데이 공격도 더 이상 예외가 아닐 수도 있다.