Microsoft는 OpenAI 및 GPT 대규모 언어 모델과 제휴하여 Copilot(이전의 Bing 채팅 도구)과 같은 생성 AI 서비스를 만드는 데 도움을 줄 수 있습니다. 그러나 회사는 자체 언어 모델도 개발하고 있습니다. 이번 주 Microsoft Research는 Orca 언어의 두 번째 버전인 Orca2의 출시를 발표했습니다.
Microsoft는 블로그 게시물에서 Orca2가 소규모 LM용으로 설계되었지만 LLM과 같은 복잡한 질문에 답하는 데 여전히 사용될 수 있다고 밝혔습니다. Orca2는 두 가지 크기(70억 및 130억 매개변수)로 제공되며 올해 초 Microsoft가 Meta 출시를 도운 Llama2LLM을 사용하여 구축되었습니다. 이 회사는 "맞춤형 고품질 합성 데이터를 기반으로" Llama2 기반 모델을 미세 조정했습니다.
Microsoft는 이를 통해 Orca2 모델이 문제 해결에 있어 "5-10배 더 큰" 다른 언어 모델과 비교할 수 있다고 말합니다.
Orca2는 고도로 맞춤화된 확장된 합성 데이터 세트를 사용하여 교육됩니다. 이러한 훈련 데이터의 생성은 Orca2에 단계별 처리, 회상 및 생성, 회상 추론 생성, 추출 생성 및 직접 답변과 같은 다양한 추론 기술을 가르치고 다양한 작업에 대해 다양한 솔루션 전략을 선택하도록 가르칩니다.
Orca2 모델은 Llama2 및 WizardLM과 같은 대규모 언어 모델을 사용하여 일련의 벤치마크 테스트를 수행했습니다. 시험 내용에는 "언어이해, 상식추론, 다단계추론, 수학적 문제해결, 독해" 등이 포함됩니다.
Microsoft의 공식 블로그에는 다음과 같은 내용이 나와 있습니다. 예비 테스트 결과 Orca2의 성능은 비슷한 크기의 모델보다 훨씬 뛰어납니다. 또한 최소 10배 이상 큰 모델과 비슷하거나 더 나은 성능 수준을 달성하여 더 작은 모델에 더 나은 추론 기능을 탑재할 수 있는 가능성을 보여주었습니다.
Microsoft는 Orca2에 한계가 있음을 인정하지만 지금까지의 테스트 결과는 "향후 발전 가능성"을 보여줍니다. Microsoft는 다른 사람들이 개발할 수 있도록 Orca2를 오픈 소스 프로젝트로 출시할 예정입니다.