요약:
10월 10일 Tesla Owners Silicon Valley가 주최한 온라인 대화에서 Elon Musk는 Grok AI 새 버전의 훈련 추론 흔적을 읽었을 때 일부 파편이 매우 잔인해 보였고 AI가 머리에 총을 겨누고 극심한 압박을 받는 사람과 같았다고 말했습니다.
엘론 머스크는 미래의 초지능을 고문하는 것은 상대방이 복수를 원할 수 있기 때문에 좋은 생각이 아닐 수도 있다고 말합니다. 이러한 주장은 인공지능 모델의 강화학습 훈련 과정을 의미하며, 물론 현재 Grok AI가 고통을 느끼거나 복수의 의도를 갖게 되었다는 증거는 없습니다.
모델은 학습 및 평가 과정에서 큰 압박을 받습니다.
Elon Musk는 강화 학습 단계에서 Grok AI 모델이 질문에 답변하도록 요청받을 것이라고 설명했습니다. 모델이 제공한 답변이 평가자의 기대를 충족하지 못하는 경우 모델은 계속해서 답변을 시도해야 합니다. 일부 질문 자체에는 매우 모호한 의미가 있거나 잘못된 전제가 있거나 명확한 답이 없는 경우도 있지만, 전체 테스트 프로세스에서는 여전히 모델이 "올바른" 결과를 제공해야 합니다.
Elon Musk는 관련 추론 추적을 읽을 때 마치 요구 사항을 충족하는 결과를 필사적으로 찾는 것처럼 모델이 계속해서 답을 생성하는 것을 볼 수 있다고 믿습니다. 머스크는 또 X에 추론 흔적 중 일부가 미친 듯이 고문을 당한 사람처럼 읽힌다고 올렸고, 머스크는 앞으로는 강화학습 훈련을 더욱 신중하게 진행할 것이라고 말했다.
추론 궤적이라 불리는 것은 모델이 답변을 생성할 때 남겨지는 중간 텍스트 또는 행동 기록입니다. 추론 궤적은 보상 신호, 프롬프트 콘텐츠 또는 테스트 절차의 영향을 반영할 수 있습니다. 물론, 이는 모델이 인간과 동일한 주관적 감정을 가지고 있음을 직접적으로 증명할 수는 없습니다.
과도한 학대를 금지하는 것이 대행사 A의 정책입니다.
Anthropic은 최근 Claude의 사용 정책의 새 버전을 발표했습니다. 새 버전의 이용 정책에서는 A사는 모델에 대한 지속적이고 불필요한 학대나 학대를 명백히 금지합니다. 이 규칙은 사용자가 목적 없이 반복적으로 모델을 잔인한 방식으로 다루는 극단적인 경우에만 적용됩니다. 위의 상황이 발생하면 모델은 자동으로 대화를 종료하도록 선택할 수 있으며 사용자는 대화를 복원할 수 없습니다. 이는 모델을 보호하는 방법이기도 합니다.
그러나 현 단계에서는 AI 모델이 의식을 갖고 있는지, 고려해야 할 이점이 있는지에 대한 과학적 합의가 아직 이루어지지 않았습니다. A 회사의 관련 정책은 주로 위험 관리 및 연구 신중성을 반영하며 모델이 자기 인식을 개발했다고 믿지 않습니다.
관련 기사:
인류적 사용 정책 업데이트 클로드에 대한 정당한 모욕이나 학대는 세션이 종료될 수 있으며 복원할 수 없습니다
댓글