수백 GB의 비디오 메모리와 수조 개의 매개변수를 가진 대형 모델이 필요한 AI 시대에 실제로 개발자는 1976년 출시된 8비트 Z80 프로세서에 AI 채팅을 학습시키도록 만들었다.개발자 HarryR은 Z80-μLM이라는 프로젝트를 만들었습니다. 이 프로젝트는 메모리가 64KB에 불과하고 부동 소수점 컴퓨팅 성능이 없는 골동품 Zilog Z80에서 대화형 AI를 성공적으로 실행했으며 20개의 질문으로 구성된 추측 게임도 실행할 수 있었습니다.
HarryR은 전체 추론 엔진, 모델 가중치 및 채팅 상호 작용 인터페이스를 약 40KB 크기의 파일로 압축하고 RAM이 64KB에 불과한 골동품 하드웨어에서 완벽하게 실행됩니다.
이 불가능한 작업을 달성하기 위해 극도로 하드코어 최적화를 사용합니다. 그는 부동 소수점 연산을 포기하고 Z80의 기본 16비트 정수 연산으로 전환했습니다.
동시에 2비트 가중치 벡터화 기술도 적용되어 각 가중치를 {-2, -1, 0, +1} 사이로 압축하고 각 바이트는 4개의 가중치를 패킹하여 저장할 수 있습니다.
현재 프로젝트는 두 가지 예를 제공합니다. Tinychat 로봇은 미니멀한 스타일로 인사와 질문에 응답합니다. 예를 들어 OK는 중립적 확인을 의미합니다. 왜죠? 대표자는 전제에 의문을 제기하고 MAYBE 불확실성 등을 표현했습니다. 또 다른 Guess는 20개의 질문으로 구성된 추측 게임으로, AI는 사용자가 해독할 수 있도록 비밀을 유지합니다.
HarryR은 이 시스템이 Turing 테스트를 통과할 수 있는 방법은 없지만 그 가치는 AI의 하한선을 탐색하는 데 있다고 인정했습니다. 개발자들은 상황에 맞는 추론이나 예/아니오 질문을 통해 인간이 AI에 대한 진정한 이해를 감지하도록 의도적으로 모호한 응답을 설계했습니다.
