오픈AI는 지난 3월 9일 인공지능 보안 플랫폼 프롬프트푸(Promptfoo)를 인수한다고 밝혔으며, 거래가 완료된 후 오픈AI의 엔터프라이즈급 에이전트 플랫폼인 오픈AI 프론티어(OpenAI Frontier)에 회사의 기술을 완전히 통합할 계획이다. Promptfoo는 주로 기업 사용자를 대상으로 하며 AI 시스템 개발 단계에서 다양한 보안 취약점을 식별하고 수정하는 데 도움을 줍니다. 해당 도구는 Fortune 500대 기업 중 4분의 1 이상이 채택했으며 오픈 소스 CLI 및 라이브러리를 통해 대규모 언어 모델 애플리케이션의 평가 및 레드팀 테스트를 지원합니다.
OpenAI는 기업이 실제로 "AI 동료"를 비즈니스 프로세스에 배포함에 따라 평가, 보안 및 규정 준수가 기본 요구 사항이 되었다고 말했습니다. 기업은 온라인에 접속하기 전에 에이전트 행동을 테스트하고 위험을 식별하기 위한 체계적인 접근 방식이 필요할 뿐만 아니라 감독, 거버넌스 및 책임 요구 사항을 충족하기 위해 장기적인 운영 및 유지 관리 중에 명확한 기록을 유지해야 합니다. OpenAI는 Promptfoo 오픈 소스 프로젝트를 계속할 계획이지만, 그 기능을 Frontier에 심층적으로 통합하여 기업 사용자에게 보다 완전한 통합 솔루션을 제공할 것입니다.
공동 창업자인 Ian Webster와 Michael D'Angelo가 이끄는 Promptfoo 팀은 기업이 대규모 모델을 대규모로 적용할 때 잠재적인 위험을 식별하는 데 도움이 되는 평가 및 공격 시뮬레이션(레드팀 구성)을 위한 성숙하고 강력한 도구 세트를 구축했습니다. OpenAI는 Promptfoo가 엔터프라이즈 수준의 AI 시스템 평가, 보안 및 테스트 분야에서 심층적인 엔지니어링 축적을 보유하고 있다고 밝혔습니다. 이 작업은 기업이 보다 안전하고 안정적인 AI 애플리케이션을 배포하는 데 도움이 됩니다. 이러한 기능을 Frontier에 직접 통합하면 플랫폼의 전반적인 보안 수준이 크게 향상됩니다.
OpenAI가 발표한 정보에 따르면 향후 Frontier 플랫폼에서 에이전트를 구축하는 회사는 여러 핵심 기능이 향상될 것입니다. 첫째, 안전 및 보안 테스트가 플랫폼의 기본 기능으로 내장됩니다. 자동화된 보안 테스트 및 레드팀 공격 기능은 기업이 즉각적인 주입, 탈옥, 데이터 유출, 도구 오용, 정책 외부의 에이전트 동작과 같은 위험을 식별하고 완화하는 데 도움이 됩니다. 둘째, 보안 및 평가 기능이 개발 워크플로에 더욱 긴밀하게 통합되어 팀이 초기 단계에서 에이전트 위험을 식별, 문제 해결 및 복구할 수 있게 되어 보안이 엔터프라이즈 수준 AI 시스템 개발 및 운영의 핵심 측면 중 하나가 됩니다. 셋째, 플랫폼은 보고 및 추적 도구를 통합하여 조직이 테스트 프로세스를 기록하고 시간에 따른 위험 프로필을 모니터링하며 점점 더 엄격해지는 거버넌스, 위험 및 규정 준수 요구 사항을 충족할 수 있도록 지원함으로써 감독 및 책임 기능을 강화할 것입니다.
Promptfoo의 공동 창립자이자 CEO인 Ian Webster는 Promptfoo의 원래 의도는 개발자에게 AI 시스템의 보안을 보장하기 위한 실용적이고 실행 가능한 솔루션을 제공하는 것이라고 말했습니다. AI 에이전트가 실제 데이터 및 핵심 시스템과 점점 더 긴밀하게 연결되면서 보안 보호와 체계적 검증의 어려움과 중요성이 급속도로 커지고 있습니다. 그는 OpenAI에 합류하면 Promptfoo가 이 방향에 대한 투자를 가속화하고 실제 AI 시스템을 구축하는 팀에 더 강력한 보안, 신뢰성 및 거버넌스 기능을 제공할 수 있게 될 것이라고 말했습니다.
OpenAI는 Promptfoo 팀에 합류하게 되어 기쁘게 생각하며 기업이 AI 애플리케이션과 에이전트 시스템을 안전하고 안정적으로 배포하는 데 도움이 되는 관련 도구를 계속 구축할 것이라고 밝혔습니다. 인수 완료는 관례적인 마감 조건을 충족해야 합니다.