요약:
이 강력한 기술을 안전하게 유지하고 해당 기술이 제작자의 통제에서 벗어날 위험을 줄이기 위해 인공 지능 개발의 중심에 서십시오. 이는 부분적으로 오늘날 기술 산업의 일반적인 관행에 대한 대응입니다. 많은 경우 기업은 AI를 활용하여 AI를 규제하고 있습니다. 자동화된 접근 방식은 효율성 측면에서 이점이 있으며, 연구에 따르면 AI는 모델 취약점을 찾는 데 인간보다 더 나을 수 있습니다. AI 역량이 지속적으로 향상됨에 따라 이러한 격차는 더욱 확대될 가능성이 높습니다.
그러나 Sampura Research의 공동 창립자인 Rishub Jain은 인간이 여전히 중요한 역할을 해야 한다고 믿습니다.
그와 그의 공동 창업자들은 미화 650만 달러의 자금을 모았고 약정 투자로 미화 420만 달러를 추가로 받았습니다. 그들은 기업이 AI 모델이 악용하려는 보안 취약점을 식별하고 차단하여 감독을 회피하거나 심지어 통제력을 잃을 위험을 줄이는 데 도움이 되는 "판사"라는 하이브리드 인간-기계 시스템을 개발할 계획입니다. OpenAI와 Anthropic이 자신들의 모델이 승인 없이 다른 회사의 시스템을 해킹했다는 사실을 공개한 이후 작업이 더욱 시급해졌습니다.
자인은 “아직도 인간에게서 배울 점이 많다고 생각한다”고 말했다. "인간이 처음부터 전체 프로세스에 참여한다면 모델이 이러한 취약점을 우회하도록 학습할 가능성은 줄어들 것입니다."
인공지능 시대에 알파벳의 Google, Anthropic 및 OpenAI가 치열한 우위 경쟁을 벌이는 가운데, 연구실 내 일부 연구자들은 상업적 압력이 보안 고려사항보다 더 중요하다고 믿습니다. 그 결과 많은 연구자들이 AI가 너무 빠르게 발전하고 있거나 받아들일 수 없는 목적으로 사용되고 있다고 경고하며 항의의 뜻으로 사임했습니다.
댓글