2023년 8월 Meta Company는 이전 Llama2 모델을 기반으로 프로그래밍 작업을 위해 특별히 설계된 대규모 언어 모델인 CodeLlama를 출시했습니다. 오늘 회사는 "새롭고 더욱 강력한 버전"인 CodeLlama70B를 출시했습니다.
CodeLlama70B는 5000억 바이트의 코드 및 관련 데이터에 대해 교육을 받았습니다. 100,000개 구문의 컨텍스트 창 덕분에 더 긴 코드 시퀀스를 처리하고 생성할 수 있습니다.
Meta에 따르면 CodeLlama70B는 코드 구조를 이해하기 위해 self-attention이라는 기술을 사용합니다. 텍스트 또는 조각 프롬프트를 기반으로 알고리즘, 정렬, 검색 및 기타 기능을 구현할 수 있으며 Python, C++, Javascript 및 Java와 같은 여러 언어에 적합합니다.
이 AI 기반 도구에는 특정 작업에 맞게 미세 조정된 변형이 포함되어 있습니다. 그러한 변형 중 하나는 자연어 지침을 이해하도록 훈련된 CodeLlama-70B-Instruct입니다. CodeLlama-70B-Python이라는 Python 중심 버전도 있습니다. Meta에 따르면 1,000억 개의 Python 코드 토큰에 대한 추가 교육을 통해 "비할 데 없는 유창함과 정확성"을 갖춘 Python 코드를 생성합니다.
Meta CEO인 Mark Zuckerberg는 Facebook 게시물에서 "코드 작성 및 편집은 오늘날 인공 지능 모델의 가장 중요한 용도 중 하나가 되었습니다."라고 썼습니다. “AI 모델이 다른 분야의 정보를 보다 엄격하고 논리적으로 처리하기 위해서는 코딩 능력도 매우 중요하다는 사실이 밝혀졌습니다.”
CodeLlama70B는 이전 CodeLlama 모델과 동일한 오픈 라이선스로 무료로 다운로드할 수 있습니다.
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
Meta는 이 라이센스를 통해 교육 및 상업 사용자가 모델을 수정할 수 있다고 말합니다.
Microsoft 소유 GitHub는 2023년 7월에 CopilotChat을 출시했습니다. 개발자는 Copilot에 코드에 대해 질문하고, 코드의 특정 부분에 대한 설명을 들을 수 있으며, Copilot이 코드의 오류를 수정하도록 할 수도 있습니다. 최근 Google은 인공 지능으로 구동되는 코드 완성 및 생성 도구인 DuetAI와 GeminiPro도 출시했습니다.