4월 21일 뉴스에 따르면, 미국 워싱턴대학교 연구팀이 VueBuds라는 새로운 프로토타입 헤드셋을 시연했다고 합니다. 기존의 진정한 무선 헤드셋에 소형 카메라를 내장하고 이를 VLM(시각 언어 모델)과 결합합니다. 착용자의 시야에 있는 장면을 실시간으로 설명하고 사물을 식별하며 음성 상호 작용을 통해 번역할 수 있습니다. 연구원들은 이를 "역방향 이미지 검색의 모바일 음성 전용 버전"이라고 설명합니다.

VueBuds의 프로토타입은 Sony의 WF-1000XM3 무선 잡음 제거 헤드폰을 기반으로 합니다. 헤드폰 본체에는 쌀알 크기의 흑백 카메라가 내장되어 있습니다. 로컬 또는 낮은 대역폭 처리는 내장된 시각적 언어 모델을 통해 수행됩니다. 사용자는 앞에 있는 장면의 음성 설명, 개체 이름 또는 텍스트 콘텐츠에 대한 설명과 번역을 얻기 위해 질문만 하면 됩니다. 연구팀은 인간-컴퓨터 상호작용 분야의 중요한 컨퍼런스인 CHI 2026에서 이 시스템의 설계와 실험 결과를 자세히 설명하는 논문을 발표했습니다.

프로젝트 리더 중 한 명인 워싱턴 대학 폴 G. 앨런 컴퓨터 과학 및 공학 학교의 교수인 Shyam Gollakota는 팀이 디자인할 때 Google Glass의 교훈을 완전히 배웠다고 말했습니다. Google Glass는 갑작스러운 외관과 엄청난 개인 정보 보호 논란으로 인해 대중으로부터 "유리 구멍"으로 조롱받았고 결국 실패했습니다. Gollakota는 안경에 비해 많은 사람들이 얼굴에 눈에 보이는 장치를 추가하는 것을 좋아하지 않으며 헤드폰은 이미 인기가 높으며 사회적으로 허용되는 착용 형태라고 지적했습니다. 따라서 시각적 기능을 헤드폰에 "숨기는" 것은 유용성과 개인정보 보호 사이에서 더 나은 균형을 이룰 것으로 예상됩니다.

하드웨어 수준에서 VueBuds는 저해상도 흑백 카메라와 저대역폭 전송을 사용하여 전력 소비를 5mW 미만으로 제어하고 사용하지 않을 때는 자동으로 종료되어 전력을 절약합니다. 연구원들은 90명의 사용자와 17개의 시각적 질문 및 답변 작업이 포함된 테스트에서 VueBuds의 답변 품질이 카메라가 내장되고 대형 모델이 있는 Ray-Ban Meta 스마트 안경의 답변 품질과 비슷하며 빠르게 발전하는 시각적 언어 모델 기능을 인기 있는 장치 형태인 헤드폰에 도입할 수 있는 잠재력을 보여주었다고 말했습니다.

시연 영상에는 뷰버드를 착용한 남성이 한 아파트 주방에 서서 "내 앞에 있는 장면을 묘사해달라"고 요청하는 모습이 담겼다. 약 1초 후 헤드셋에서 인간 여성의 목소리를 흉내내는 편안한 톤의 AI가 나와서 이렇게 대답했습니다. "빛이 많이 들어오는 창문이 있는 부엌이 보입니다. 조리대 위에는 병 몇 개와 책이 있습니다. 창문 왼쪽에는 블라인드와 싱크대가 있습니다." 나중에 그가 음반 표지를 보고 앨범 이름을 물었을 때 시스템은 그것이 비틀즈의 "Abbey"라는 것을 금방 인식했습니다. 로드' 앨범 커버.

논문에 공개된 실험 데이터에 따르면 VueBuds는 16명의 참가자를 대상으로 한 테스트에서 객체 인식 및 번역 작업에서 약 83%의 정확도를 달성했으며, 책 제목 및 저자 식별 등의 작업에서는 약 93%의 정확도를 달성했습니다. 예를 들어, 앞으로 사용자들은 이 시스템을 이용해 아직 번역되지 않은 한국 만화를 읽거나, 중국 식당에서 '중국 메뉴에만 있는' 숨겨진 요리를 자신의 언어 능력에 구애받지 않고 주문할 수 있을 것으로 예상된다.

"헤드셋 카메라가 얼굴 양쪽에 위치하면 착용자 자신의 머리 때문에 시야가 가려지나요?"라는 일반적인 질문에 대한 답변입니다. 연구원들은 VueBuds가 인간의 양안 시차 원리를 활용하고 두 카메라의 서로 다른 시야각을 사용하여 '입체 시각' 융합을 수행함으로써 전방 장면을 이해하는 능력을 얻는다고 설명했습니다. 그러나 현재 흑백 이미지만 지원하기 때문에 VueBuds는 색상 관련 질문에 답변할 수 없습니다. 복잡한 장면의 탐색 및 고정밀 번역에는 여전히 고해상도 컬러 카메라와 더 강력한 컴퓨팅 성능이 필요합니다.

또한 전력 및 컴퓨팅 성능 제한은 VueBuds가 현재 비디오 스트림을 지속적으로 높은 대역폭으로 수집하고 처리할 수 없으며 "사진 + 질문 및 답변"의 간헐적인 방식으로만 사용하기에 적합하다는 것을 의미합니다. 그럼에도 불구하고 연구팀은 에너지 소비, 볼륨, 응답 속도 간의 균형이 이 형태의 '시각 지능 플랫폼'으로서의 타당성을 입증하고 미래 헤드셋 장치의 기능 확장을 위한 새로운 방향을 제시하기에 충분하다고 믿습니다.

동시에 개인 정보 보호 및 보안 위험도 피할 수 없는 주제가 되었습니다. 기사는 몇 년 전 한 회사가 '사진을 찍어 낯선 사람의 이름을 식별'할 수 있는 애플리케이션을 제안했다고 지적했다. 당시 인터넷상에서는 “그렇다면 여자는 이것 때문에 죽는다”는 아이러니한 반응이 인기를 끌었다. VueBuds는 이 단계에서 헤드폰의 작은 "작업 표시 등"과 같은 제한된 보안 조치만 제공하지만 관찰자는 헤드폰이 이미지를 캡처하고 있다는 사실을 인식하지 못하는 경우가 많습니다. 오디오 수집, Bluetooth 연결 및 타사 얼굴 인식 서비스와 결합하여 이러한 유형의 장치가 악용되면 "저화질은 여전히 ​​치명적"이라는 심각한 개인 정보 위협이 될 수 있습니다.

기사에서는 규제 당국이 공공 안전과 개인 정보 보호를 침해하지 않도록 효과적인 규칙을 제정하고 시행할 수 있다면 이러한 "읽기" 헤드폰 장치가 시각 장애인 및 기타 그룹에게 상당한 편의를 제공하여 삶의 질과 여행, 학습, 엔터테인먼트 등의 자유를 크게 향상시킬 것으로 기대한다고 지적합니다. 워싱턴 대학은 공식 보도 자료에서 VueBuds가 아직 과학 연구 프로토타입 단계에 있지만 시각적 언어 모델을 일상적인 웨어러블 장치에 통합할 가능성을 보여주었습니다. 미래에는 새로운 세대의 '듣고 볼 수 있는' 스마트 헤드폰 제품 형태가 탄생할 수도 있습니다.