"Information" 매거진이 입수한 내부 메모에 따르면 Meta Platforms는 새로 구성된 AI 팀이 곧 출시할 첫 번째 핵심 대형 모델에 대해 점점 더 낙관적이라고 합니다. Meta Superintelligence Labs의 제품 관리자인 Megan Fu가 1월 20일에 발표한 메모에는 차세대 대형 언어 모델인 Avocado가 사전 훈련을 완료했으며 "현재까지 Meta의 가장 강력한 사전 훈련된 기본 모델"이라고 명시되어 있습니다. 사전 훈련은 AI 모델 개발의 초기 단계입니다. 모델은 대규모 데이터에 노출되고 일반 지식, 패턴 및 관계를 학습해야 합니다.
왼쪽은 알렉산더 왕(Alexander Wang)과 마크 저커버그(Mark Zuckerberg)
메모에는 Avocado의 성능이 현재 최고의 오픈 소스 기반 모델을 초과한다고 명시되어 있습니다. (기본 모델은 사전 훈련만 완료했으며 아직 "사후 훈련" 단계를 통해 최적화되지 않은 대규모 언어 모델을 의미합니다. 사후 훈련 단계에서는 인간 피드백 강화 학습과 같은 기술을 사용하여 특정 작업에 맞게 모델을 미세 조정합니다.) Avocado는 아직 사후 훈련을 완료하지 않았지만 지식 보유량, 시각적 인식 및 다국어 기능은 최고의 사후 훈련 모델과 동등합니다.
아보카도가 공식적으로 대중에게 공개되기 전에는 AI 모델의 진행 상황에 대한 Meta의 내부 낙관적 평가가 외부 검사를 견딜 수 있는지 여부가 여전히 불분명합니다. 그러나 지난 1년간 Meta의 AI에 대한 암울한 경험을 고려할 때 내부적으로 이러한 진전을 과도하게 홍보하는 것조차 회사에 위험할 수 있습니다.
2025년에는 메타의 이전 세대 대형 언어 모델인 라마 4(Llama 4)의 성능이 기대에 미치지 못해 출시를 연기할 수밖에 없었다. Meta는 결국 Maverick(Ranger)과 Scout(Scout)라는 두 가지 버전의 Llama 4를 출시했지만 일부 개발자는 실제 성능에 실망했습니다.
이러한 좌절은 Meta의 전체 AI 사업에 대한 대규모 구조 조정을 직접적으로 이끌었습니다. 조직 개편 내용은 다음과 같습니다. Meta는 작년 6월 Scale AI를 143억 달러에 인수했습니다. 스타트업의 CEO인 Alexandr Wang은 이후 Meta에 합류하여 새로운 AI 종합 조직인 Meta Super Intelligence Laboratory를 이끄는 역할을 담당했습니다. 이후 메타는 AI 사업에 기록적인 금액을 투자해 왔다. 최근 회사는 AI 컴퓨팅 파워 비용을 포함한 2026년 자본 지출이 2025년 대비 약 73% 증가해 1,150억~1,350억 달러에 이를 것으로 전망했다.
Meta의 새로운 모델에 대한 기술적 진보는 관련 비용을 통제하는 데 도움이 될 수 있습니다. 지난해 12월 중순 또 다른 메모에는 텍스트 관련 작업에서 아보카도의 컴퓨팅 효율성이 매버릭보다 10배, 베헤모스보다 100배 이상 높다는 내용이 적혀 있었다. Behemoth는 Meta가 작년에 출시한 Llama 4의 지연되었지만 아직 발표되지 않은 버전입니다.
Meta는 더 높은 품질의 데이터를 획득하고, 모델 인프라에 투자하고, 모델이 동일한 훈련 방법 하에서 안정적인 결과를 출력하도록 보장하는 결정론적 훈련을 채택하여 효율성 혁신을 성공적으로 달성했다고 말했습니다. 이러한 효율성 향상은 AI 연구 및 개발의 에너지 소비와 비용을 줄이는 데 도움이 됩니다. 이는 Meta가 경쟁사를 따라잡기 위해 노력하는 데 중요한 요소입니다.
Meta 내부 메모의 긍정적인 어조는 경영진의 최근 공개 성명을 반영합니다. 지난달 메타의 최고기술책임자(CTO)인 앤드류 보스워스(Andrew Bosworth)는 스위스 다보스에서 열린 세계경제포럼 기자회견에서 메타의 AI 모델이 "매우 잘 수행됐다"며 비슷한 효율성 향상을 암시했다. Bosworth는 또한 소비자가 사용할 수 있는 모델을 개발하려면 많은 사후 교육 작업이 필요하다고 말했습니다.
동시에 지난주 실적 발표에서 Meta CEO인 Mark Zuckerberg는 Meta의 Super Intelligence Laboratory에서 출시할 예정인 최초의 대형 모델에 대해 다음과 같이 말했습니다. "우리의 첫 번째 모델 배치가 좋은 성능을 발휘할 것으로 기대하지만 더 중요한 것은 이 모델이 우리의 빠른 개발 궤적을 보여줄 것이라는 점입니다. 또한 올해에도 우리는 계속해서 새로운 모델을 출시하고 기술 분야를 꾸준히 발전시킬 것으로 기대합니다."