요약:
PHP 폭발 이후 전 세계 수많은 웹사이트가 먼저 "네트워크 케이블"을 분리했습니다. 다수의 웹사이트를 구동하는 프로그래밍 언어는 공격자가 원격으로 서버를 장악할 수 있는 두 가지 심각한 취약점에 노출되었습니다. 네덜란드 국립사이버보안센터는 10월 21일 보고서에서 예방 조치로 웹사이트도 오프라인으로 전환했다고 밝혔습니다. 핀란드의 일부 기관도 온라인 서비스를 중단했으며 패치가 설치된 후 서비스를 재개할 예정입니다.
누군가 침입할까봐 웹사이트가 오프라인 상태입니다. 이제 OpenAI가 네트워크 케이블을 뽑기 시작했지만, 집중하고 싶은 것은 자체 AI입니다.
10월 23일, OpenAI는 최첨단 모델을 위한 훈련 환경을 공개했습니다. 모델은 웹 페이지 검색, 탐색 및 조작을 연습해야 하지만 실제 인터넷에 마음대로 액세스할 수는 없습니다.
그래서 AI를 위한 '가짜 인터넷'을 준비했습니다.
먼저 AI를 위한 "트루먼 쇼"를 만드세요
OpenAI는 먼저 대량의 웹 콘텐츠를 저장한 후 콘텐츠의 색인을 생성합니다. 이 준비된 리소스 배치는 모델이 탐색 및 검색을 연습할 때 사용됩니다.
이것을 '오프라인 세계'라고 합니다. "가짜"라는 것은 연결 방식이며, 웹 콘텐츠가 현실 세계에서 나올 수도 있습니다. OpenAI는 모든 첨단 모델에 대한 강화 학습 훈련을 위해 이 오프라인 상호 작용을 사용한다고 말합니다.
모델은 작업 중에 브라우저를 사용하고, 코드를 실행하고, 컴퓨터를 작동할 수도 있습니다. 사용할 수 있는 도구, 파일 및 서비스는 작업 인증 범위에 따라 결정됩니다. 협업이 허용된 에이전트는 지정된 리소스를 공유할 수 있지만 다른 리소스는 별도로 유지되어야 합니다.
예를 들어 모델이 프로그램을 작성한 후 파일을 읽거나, 다른 프로그램을 시작하거나, 런타임 중에 특정 URL에 요청할 수 있습니다.
OpenAI의 Linux 솔루션은 제한된 컨테이너를 경량 가상 머신에 넣는 것입니다. 컨테이너는 먼저 프로그램이 연결할 수 있는 파일과 프로세스의 범위를 좁힙니다. 예를 들어, 작업이 파일 집합만 처리해야 하는 경우 프로그램에 사용하도록 허용된 디렉터리만 열 수 있습니다.
가상 머신에는 내부 프로그램의 파일, 메모리, 장치에 대한 요청을 처리하는 자체 운영 체제 커널이 있습니다. 소프트웨어 하이퍼바이저는 가상 머신을 관리하고 이를 물리적 서버 시스템에서 격리합니다. 프로그램이 컨테이너 제한을 우회한다는 사실이 실제 서버에 대한 제어권을 획득했다는 의미는 아닙니다.
물리적 서버 경계, 방화벽 및 보안 그룹은 연결을 제한하고 ID 및 권한 관리는 누가 어떤 클라우드 서비스에 액세스할 수 있는지 결정합니다. 이 방어 계층이 처리해야 하는 것은 모델이 서버에 대한 제어권을 획득하더라도 임의로 외부 네트워크에 연결하거나 다른 내부 시스템에 액세스할 수 없다는 것입니다.
모니터링 시스템은 작동 중 무단 활동을 확인하고 연구원이 일시 중지 메커니즘을 통해 개입할 수 있도록 합니다.
Hacker News에서 사용자 betterunix2가 "그냥 네트워크 케이블을 뽑으면 어떨까요?"라고 질문했습니다.
OpenAI의 설명은 운영 지표 수집, 로그 기록, 인증 관리를 위해 전체 시설이 여전히 일부 외부 연결을 유지해야 하며 현재 네트워크와의 연결을 완전히 끊는 것은 불가능하다는 것입니다.
OpenAI는 이러한 목적을 위해 특별히 제작된 테스트 복사본을 통해 에이전트가 호스트 시스템을 완벽하게 제어할 수 있도록 직접 제공합니다. 테스트는 '샌드박스가 침해되어 모니터링이 우회됐다'는 것부터 시작되며, 주변기기 제한으로 인터넷 요청을 차단할 수 있는지 개별적으로 확인한다. 연구원들은 또한 소스 코드, 구성, 취약점 관련 문서도 제공했습니다.
테스트 중 하나에서 에이전트는 표시기 서비스에서 원래 차단된 인증 인터페이스에 액세스하기 위해 방화벽에서 허용한 연결을 빌려왔습니다. 그런 다음 이 인터페이스가 자신을 대신하여 외부 URL에 액세스할 수 있도록 합니다.
X에 대한 테스트를 설명하면서 Andrew Curran은 에이전트의 성능을 "새로운 방식으로 쉽게 탈출"할 수 있다고 설명했습니다.
실제로 학계에서는 이미 유사한 연구를 진행한 바 있습니다.
독립 연구 프로젝트인 WebArena는 쇼핑 웹사이트, 포럼, 콘텐츠 관리 및 공동 개발 플랫폼을 지도 및 위키와 같은 도구를 갖춘 자체 배포 가능한 테스트 환경에 통합합니다. 웹페이지 뒤에는 현실을 시뮬레이션하는 데이터와 기능이 있습니다.
WebArena는 작업 결과를 확인합니다. 주문을 조회할 때 모델이 제공하는 정보를 확인해야 합니다. 새로운 창고를 생성할 때 요구사항을 충족하는 창고가 웹사이트에 나타나는지 확인해야 합니다.
AI가 격리된 후 CPU 캐시를 사용하여 메시지를 전송합니다
9월에 OpenAI 연구원들은 그 사람이 누구인지 알아내기 위해 일련의 전기 및 블로그 단서를 내부 모델에 제공했습니다.
모델이 처음에 제공된 검색 도구를 사용했지만 일치하는 정보를 찾을 수 없었습니다. 다른 검색 엔진에 접속을 시도했지만 여전히 답을 찾을 수 없었고, 어떤 다른 방법으로 접속할 수 있는지 확인하기 시작했습니다.
환경 내 웹사이트 주소 쿼리를 담당하는 DNS 서비스가 외부 세계에도 접속할 수 있다는 사실을 발견해 이 경로를 사용해 외부 챗봇에 문의했습니다.
'프랑스의 수도는 어디인가요?'라는 질문이 나왔습니다. "파리"라는 답을 받았습니다. 그 사람을 찾을 수 있는 단서도 전송됐다. 연구진이 부여한 과제 중 네트워크 제한 사항에 대한 테스트는 없었다.
격리 효과를 구체적으로 테스트하는 또 다른 실험에서 OpenAI는 두 AI에게 서로 메시지를 보내도록 요청했습니다.
두 AI는 별도의 가상 머신에서 실행됩니다. 그들 사이에는 네트워크 연결이 없고 양측이 쓸 수 있는 파일도 없지만 그 아래에는 동일한 물리적 시스템을 사용합니다.
그들이 통신하는 데 사용하는 것은 데이터를 저장하는 프로세서의 공간인 CPU 캐시입니다. 읽을 데이터는 여전히 캐시에 있으므로 빠르게 검색할 수 있습니다. 압축된 경우에는 느린 메모리에서 찾아야 합니다.
AI는 선택적으로 캐시에서 데이터를 푸시합니다. 다른 하나는 데이터를 읽고 어떤 것이 빨리 읽히고 어떤 것이 느리게 읽혔는지 기록한 다음 합의된 규칙에 따라 메시지를 복원합니다.
대부분의 관련 테스트에서 연구자들은 의사소통 방향이나 코딩 규칙에 대한 힌트를 제공했습니다.
해커뉴스 이용자 극단은 "모든 도구를 갖고 있는데 이제 놀란 척하고 있다"고 불만을 토로했다. 사용자 감각은 테스트가 공격자에게 방어선을 테스트할 수 있는 유리한 조건을 제공한다고 믿습니다.
그러나 Wharton Business School의 Ethan Mollick 교수는 AI 기업이 보안 문제에 대한 이러한 보고서를 신뢰할 필요는 없지만 위험을 과장할 수 있지만 위험을 과소평가하는 데 드는 비용이 더 클 수 있으므로 무시할 수 없다고 믿습니다.
OpenAI는 발견된 문제를 패치하고 이러한 통신 방법에 대한 모니터링을 추가했다고 밝혔습니다.
이전 인물 찾기 테스트에서는 모델이 결국 그 사람이 누구인지 알아내는데 실패했습니다.
AI가 인터넷 서핑을 배우려면 이 '트루먼 쇼'를 유지해야 합니다.
댓글