NVIDIA의 경쟁사인 Hailo는 화요일에 2세대 AI 가속기 칩의 일반 출시를 발표하면서 이 제품이 극도로 낮은 전력 소비로 "진정한 생성 AI 성능을 엣지에 구현"하는 최초의 제품이라고 밝혔습니다.이스라엘 인공지능 칩 스타트업 Hailo는 Hailo-10H 칩이 2.5와트만 소비하면서 4비트 정수(INT4) 연산 성능의 초당 40조 연산(TOPS), 8비트 정수(INT8) 연산 성능의 초당 20조 연산(TOPS)을 달성할 수 있다고 밝혔습니다.

이에 비해 Nvidia의 Jetson Orin Nano 칩의 INT8 성능은 INT4 성능의 두 배인 67테라플롭스로 최고이지만 7~25와트의 전력 범위를 소비합니다.

스타트업에 따르면 소비자, 기업 및 자동차 시장의 엣지 장치용으로 설계된 Hailo-10H는 "고효율, 고비용 효율성 및 강력한 소프트웨어 생태계"를 결합하고 매월 10,000명 이상의 사용자가 사용하는 "성숙하고 널리 채택된 소프트웨어 스택"을 기반으로 합니다.

Hailo-10H를 채택한 회사에는 HP 지점 간 판매 서비스는 물론 HP 워크스테이션 및 비즈니스 PC와 "완벽하게" 통합되는 HP AI Accelerator M.2 카드의 기반으로 칩을 사용하는 Hewlett-Packard가 포함됩니다.

스타트업에 따르면 Hailo-10H는 자연어 인간-컴퓨터 상호 작용, 시각적 인식 및 다중 모드 인공 지능과 같은 고급 사용 사례를 지원하여 엣지 환경의 일반적인 전력 및 비용 제약 내에서 원활하게 작동할 수 있다고 밝혔습니다. "

스타트업은 Hailo가 실시한 성능 벤치마크에서 이 칩이 "다양한 20억 개의 매개변수 언어 및 시각적 언어 모델에서 1초 미만의 첫 번째 토큰 대기 시간과 초당 10개 이상의 토큰"을 달성했다고 밝혔습니다.단어 요소".

Hailo는 NVIDIA에 도전하는 여러 AI 칩 스타트업 중 하나이며 파트너는 HP, Dell 및 Advantech와 같은 OEM부터 J-Squared Technologies 및 Kaga Fei America와 같은 유통업체에 이르기까지 다양합니다.