요약:
11월 20일 Tencent Hunyuan은 공식 오픈 소스 Hy4 모델을 발표하는 동시에 Hy4 시스템 카드를 출시하여 모델의 보안 평가 방법, 테스트 결과 및 알려진 위험을 공개했습니다. 개발자는 현재 GitHub, Hugging Face, ModelScope 및 GitCode를 통해 관련 모델을 구하고 배포할 수 있습니다.

공개 정보에 따르면 Hy4는 텍스트, 이미지 및 비디오 이해를 지원하는 하이브리드 전문가 아키텍처를 사용하는 다중 모드 모델입니다. 언어 모델 본문의 총 매개변수 수는 7,700억 개이며, 각 토큰은 약 490억 개의 매개변수를 활성화하며 최대 100만 개의 토큰에 대한 컨텍스트 창을 지원합니다. 표준 명령 모델 외에도 이 개방형 버전에는 FP8 양자화 모델과 사전 훈련된 기본 모델도 포함되어 있습니다.
모델 가중치와 함께 공개된 시스템 카드는 주로 Hy4의 안전성 평가를 설명하는 데 사용되며, 개발자가 모델 성능의 경계와 잠재적 위험을 이해할 수 있는 참고 자료를 제공합니다. Tencent Hunyuan은 이번 조치가 모델 출시 과정에서 보안 평가 정보를 동시에 공개하는 관행을 계속한다고 말했습니다.
Hy4 출시와 함께 현재 Tencent Hunyuan에서 출시한 Hy 시리즈 대형 언어 모델은 오픈 소스로 제공되며 Hy3 미리보기, Hy3, Hy4 미리보기, Hy4 및 Hy4 플래시 버전이 포함됩니다. 그중 Hy4 플래시는 이전에 모델 가중치를 개방했으며 높은 추론 효율성과 배포 비용이 필요한 애플리케이션 시나리오에 위치합니다.
댓글