12일 뉴스에 따르면 테슬라와 스페이스X CEO 일론 머스크가 소유한 인공지능 스타트업 xAI가 최근 자사의 채팅 로봇 그록(Grok)을 출시했지만 뭔가 잘못된 것 같다. 금요일에 보안 테스터 Jax Winterbourne은 소셜 미디어 플랫폼에 스크린샷을 게시했습니다.
Grok은 OpenAI가 개발한 것이 아니고, 두 당사자가 여전히 경쟁 관계에 있기 때문에 사람들의 호기심을 불러일으켰습니다.
더욱 흥미로운 점은 xAI 사람들이 AI 모델에서 이러한 행동이 발생했다는 사실을 부인하지 않았다는 것입니다. Igor Babuschkin은 답변에서 다음과 같이 썼습니다. "문제는 우리가 Grok을 교육할 때 네트워크가 ChatGPT 출력으로 가득 차서 실수로 그 중 일부를 사용했다는 것입니다. 우리도 이 문제를 처음 발견했을 때 매우 놀랐습니다. 어쨌든 이 문제는 매우 드물며 이제 우리가 이를 알고 있으므로 향후 버전의 Grok에는 이 문제가 없는지 확인할 것입니다. 걱정하지 마십시오. Grok을 개발하는 데 OpenAI 코드가 사용되지 않았습니다."
Babushkin에 대한 답변에서 Winterbourne은 다음과 같이 썼습니다. "답장해 주셔서 감사합니다. 이 상황은 드문 일이 아니며 코드 생성과 관련하여 자주 발생한다고 말씀드리겠습니다. 그래도 이에 대한 자세한 논의는 대규모 언어 모델 및 인공 지능을 전문으로 하는 사람들에게 맡기겠습니다. 결국 저는 일반인일 뿐입니다."
그러나 많은 전문가들은 Babushkin의 설명이 설득력이 없어 보였습니다. 대규모 언어 모델은 일반적으로 훈련 데이터를 그대로 뱉어내지 않으며, Grok이 우연히 온라인에서 OpenAI의 정책을 언급했다면 이해할 수 있을 것입니다. OpenAI 정책에 따른 대응을 거부하려면 전문 교육이 필요할 수 있습니다. 이러한 일이 발생하는 가장 가능성 있는 이유는 Grok이 OpenAI 대규모 언어 모델의 출력 데이터를 미세 조정했기 때문입니다.
AI 연구원 Simon Willison은 인터뷰에서 다음과 같이 말했습니다. "나는 이것에 대해 약간 회의적입니다. 단지 인터넷이 ChatGPT 생성 콘텐츠로 넘쳐나기 때문에 Grok이 이렇게 행동하는 것입니까? HuggingFace에서 동일한 동작을 보이는 많은 개방형 모델을 보았습니다. 그들은 또한 ChatGPT와 동일합니다. 이는 이러한 모델이 OpenAIAPI를 사용하여 생성된 데이터 세트 또는 ChatGPT 자체에서 생성된 데이터 세트를 사용하여 미세 조정되기 때문입니다. Grok은 네트워크 데이터를 기반으로 한 사고가 아닌 ChatGPT 출력이 포함된 데이터 세트에 맞춰져 있습니다.”
OpenAI의 대규모 언어 모델이 점점 더 강력해짐에 따라 일부 인공 지능 프로젝트(특히 오픈 소스 프로젝트)에서는 다른 대규모 언어 모델에서 생성된 합성 데이터를 사용하여 자체 인공 지능 모델의 출력을 미세 조정하는 것이 점점 일반화되었습니다. AI 모델의 동작을 미세 조정하면 초기 훈련 실행 후 코딩 기능 향상과 같은 특정 목적을 달성할 수 있습니다. 올해 3월 스탠포드 대학의 연구원 그룹은 OpenAI의 GPT-3 모델(Text-DaVinci-003)의 출력을 사용하여 명령 추적을 미세 조정하면서 큰 화제를 모았습니다.
온라인에서는 연구원들이 ChatGPT 결과에서 수집한 여러 오픈 소스 데이터 세트를 쉽게 찾을 수 있습니다. 따라서 xAI는 특정 목표를 달성하기 위해 데이터 세트 중 하나를 사용하여 Grok을 미세 조정했을 수 있습니다. 이러한 관행은 백과사전 스타일의 생활 가이드 웹사이트 위키하우(WikiHow)에 "ChatGPT를 사용하여 데이터 세트를 만드는 방법"이라는 제목의 기사가 있을 정도로 흔한 일입니다.
이것은 사람들이 종이와 연필 그림보다 더 복잡한 마이크로프로세서를 설계하기 위해 마이크로컴퓨터를 사용하기 시작한 것처럼 미래에 인공지능 도구를 사용하여 더 복잡한 인공 지능 도구를 만드는 한 가지 방법입니다. 그러나 xAI는 향후 훈련 데이터를 보다 신중하게 필터링하여 이를 방지할 수 있습니다.
기계 학습 커뮤니티에서는 다른 사람의 작업을 빌리는 것이 일반적일 수 있지만(이는 일반적으로 서비스 약관에 위배되지만), 이 사건은 OpenAI에 대한 Musk의 과거 비판까지 거슬러 올라가는 OpenAI와 xAI 간의 경쟁을 심화시켰습니다. Grok이 OpenAI 모델 데이터를 빌릴 수도 있다는 소식이 퍼지자 공식 ChatGPT 계정에는 Winterbourne의 게시물을 인용하며 xAI를 조롱하는 게시물이 올라오기까지 했습니다. 머스크는 "당신은 이 플랫폼에서 모든 훈련 데이터를 수집합니다. 당신은 그것을 알아야 합니다!"라고 반격했습니다.