요약:
최근 개발사인 Cactus Compute는 Needle 2라는 경량 AI 모델을 출시했습니다.
이 모델은 크기가 14MB에 불과하며 Raspberry Pi 5의 프로세서 환경에 깊이 최적화되어 있습니다. AI 가속 확장 보드 없이도 자연어 명령을 사전 설정된 함수 호출로 실시간으로 변환할 수 있습니다.
Raspberry Pi 공식 블로그에 따르면 Needle 2는 전통적인 범용 채팅 로봇이 아니라 기기 측 명령 실행에 초점을 맞춘 전용 모델입니다. 사용자가 LED 조명을 켜기 위해 입력하면 시스템은 인식부터 실행까지 전체 프로세스를 완료하는 데 78밀리초밖에 걸리지 않아 거의 즉각적인 응답을 달성합니다.
성능과 리소스 활용 측면에서도 니들2는 극도의 효율성을 보여줍니다. Raspberry Pi 5(8GB 메모리 버전)의 실제 측정에서 이 모델이 실행 시 차지하는 메모리는 약 28MB에 불과합니다. 전체 Python 데모 프로그램을 실행하더라도 총 메모리 소모량은 46.4MB에 불과합니다.
이 경량 설계를 통해 모델은 클라우드 API 및 네트워크 환경에서 완전히 분리되고 엣지에서 순수 로컬 지능형 제어를 달성할 수 있습니다.
하드웨어 기능과 인터페이스 호출 측면에서 Needle 2는 Python 주석 시스템을 통해 기본 하드웨어에 깊이 연결되어 있습니다. 개발자는 기존 함수 코드에 특정 태그를 추가하기만 하면 모델이 자동으로 함수 이름, 설명, 매개변수 유형을 캡처하고 호출 사양을 구축할 수 있습니다.
예를 들어 프로세서 온도를 쿼리하는 명령의 응답 시간은 149밀리초이며 시스템은 섭씨 값을 정확하게 반환합니다. 전체 프로세스는 로컬 프로세서 내에서 완전히 완료됩니다.
그러나 모델은 논리적 판단이 매우 제한적이라는 점에 유의해야 합니다. 미리 설정된 기능과 일치하지 않는 관련 없는 질문(예: "프랑스의 수도는 어디입니까?")에 대해 Needle 2는 강제 응답 대신 92밀리초 이내에 null 값을 반환합니다.
현재 니들2의 모델 가중치는 허깅페이스(Hugging Face) 플랫폼에 공개됐으며, 관련 코드도 아파치 2.0 프로토콜에 따라 GitHub에 오픈소스로 공개됐다.
댓글