Kai-Fu Lee의 AI 회사인 Zero One Wanxian의 오픈소스 대형 모델은 LLaMA 아키텍처를 완전히 사용하고 2개의 텐서 이름만 수정했다는 비난을 받았습니다. 이와 관련하여 Lingyiwu는 다음과 같이 말했습니다. GPT는 업계에서 인정받는 성숙한 아키텍처이며 Llama는 GPT에 대해 요약했습니다.
Zero One Thousand Things의 R&D를 위한 대형 모델의 구조 설계는 GPT의 성숙한 구조를 기반으로 하며 업계 최고 수준의 공개 결과를 활용합니다. 대형 모델 기술의 개발은 아직 초기 단계이기 때문에 업계의 주류와 일치하는 구조가 전반적인 적응과 향후 반복에 더 도움이 됩니다. 동시에 01Wanyuan 팀은 모델 이해 및 교육에 많은 작업을 수행했으며 모델 구조 수준에서 필수적인 혁신을 계속해서 탐색하고 있습니다.
관련 기사: