구글은 자사의 새로운 인공 지능 모델 라인에 감정을 '인식'하는 독특한 기능이 있다고 밝혔습니다. 목요일에 출시된 PaliGemma2 모델 제품군은 이미지를 분석하여 인공 지능이 캡션을 생성하고 사진에서 "보는" 사람들에 대한 질문에 답할 수 있도록 합니다.
Google은 TechCrunch와 공유한 블로그 게시물에서 "PaliGemma2는 단순한 객체 인식을 넘어 행동, 감정 및 장면의 전반적인 내러티브를 설명하는 이미지에 대한 상세하고 상황에 맞는 캡션을 생성할 수 있습니다."라고 썼습니다.
감정 인식은 쉽게 가능하지 않으며 이를 위해 PaliGemma2는 여전히 미세 조정이 필요합니다. 그럼에도 불구하고 일부 전문가들은 감정 탐지기를 대중에게 공개할 가능성에 대해 우려하고 있습니다.
옥스포드 인터넷 연구소(Oxford Internet Institute)의 데이터 윤리 및 인공 지능 교수인 산드라 와처(Sandra Wachter)는 "이것은 나를 매우 불안하게 만든다. 우리가 사람들의 감정을 '읽을' 수 있다고 가정하는 것은 문제가 있다고 생각한다. 그것은 검은 8공에게 조언을 구하는 것과 같다"고 말했다.
수년 동안 스타트업과 기술 대기업들은 영업 교육부터 사고 예방까지 모든 것에 대해 감정을 감지할 수 있는 인공 지능을 구축하려고 노력해 왔습니다. 일부 회사는 이를 달성했다고 주장하지만 과학의 실증적 기반은 불안정합니다.
폴 에크만(Paul Ekman)은 인간에게는 분노, 놀라움, 혐오, 즐거움, 두려움, 슬픔이라는 6가지 기본 감정이 공통적으로 존재한다고 믿습니다. 그러나 이후의 연구에서는 Ekman의 가설에 의문을 제기했으며, 이는 서로 다른 배경을 가진 사람들이 자신의 감정을 표현하는 방식이 크게 다르다는 것을 보여줍니다.
퀸메리대학교 인공지능 전문 연구원인 마이크 쿡(Mike Cook)은 "사람들이 감정을 경험하는 방식이 복잡하기 때문에 일반적인 상황에서는 감정 탐지가 불가능합니다. 물론 우리는 다른 사람들이 감정을 관찰함으로써 어떻게 느끼는지 알 수 있다고 생각하며, 스파이 기관이나 마케팅 회사 등 많은 사람들이 수년에 걸쳐 이를 시도했습니다. 어떤 경우에는 보편적인 기호를 탐지하는 것이 확실히 가능하지만 완전히 '해결'할 수 있는 것은 아니라고 생각합니다."
당연히 감정 감지 시스템은 신뢰할 수 없으며 설계자의 가정에 따라 달라질 수 있습니다. 2020년 MIT 연구에서 연구원들은 얼굴 분석 모델이 미소와 같은 특정 표정에 대해 의도하지 않은 선호도를 나타낼 수 있음을 발견했습니다. 최근 연구에 따르면 감정 분석 모델은 백인 얼굴보다 흑인 얼굴에 더 많은 부정적인 감정을 할당하는 것으로 나타났습니다.
구글은 PaliGemma2의 인구통계적 편견을 평가하기 위해 '광범위한 테스트'를 실시했으며 업계 벤치마크에 비해 '낮은 수준의 독성과 욕설'을 발견했다고 밝혔습니다. 그러나 회사는 사용된 벤치마크의 전체 목록을 제공하지 않았으며 어떤 유형의 테스트가 수행되었는지도 밝히지 않았습니다.
Google이 공개한 유일한 벤치마크는 수만 명의 얼굴 사진 세트인 FairFace입니다. 회사는 PaliGemma2가 FairFace에서 높은 점수를 받았다고 주장합니다. 그러나 일부 연구자들은 FairFace가 소수 인종 그룹만을 대표한다는 점을 지적하면서 벤치마크가 편견의 지표라고 비판했습니다.
인공 지능의 사회적 영향을 연구하는 비영리 단체인 AINow Institute의 수석 AI 과학자인 Heidy Khlaaf는 "감정을 해석하는 것은 시각적 도구의 사용을 넘어서는 상당히 주관적인 문제이며 주로 개인 및 문화적 맥락에 내재되어 있습니다."라고 말했습니다. "AI를 제외하고 연구에 따르면 얼굴 특징만으로는 감정을 추론할 수 없습니다." "
감정 감지 시스템은 고위험 환경에서 이 기술의 사용을 제한하려는 해외 규제 기관의 분노를 불러일으켰습니다. EU의 주요 AI 법안인 인공지능법은 학교와 고용주가 감정 탐지기를 배포하는 것을 금지합니다(법 집행 기관은 제외).
AI 개발 플랫폼 HuggingFace를 비롯한 많은 호스트가 PaliGemma2와 같은 개방형 모델을 제공하지만, 이러한 모델에 대한 가장 큰 우려는 이러한 모델이 남용되거나 오용될 수 있어 실제 피해로 이어질 수 있다는 것입니다.
"만약 소위 '감정 인식'이 사이비과학적 추측에 기반을 둔다면, 이 기능은 법 집행, 인적 자원, 국경 거버넌스 등에서 소외된 집단을 더욱 잘못된 방식으로 차별하는 데 사용될 수 있으며 상당한 파급 효과를 가져올 수 있습니다."라고 Clough는 말했습니다.
PaliGemma2를 공개적으로 출시하는 것의 위험성에 대해 질문을 받은 Google 대변인은 회사가 시각적 질문 답변 및 자막과 관련된 "대표적인 위험" 테스트를 지원한다고 말했습니다. 그들은 "우리는 아동 안전과 콘텐츠 안전을 포함하여 PaliGemma2 모델에 대해 엄격한 윤리 및 안전 평가를 수행했습니다"라고 덧붙였습니다.
Watcher는 이것이 충분하지 않다고 생각합니다. "책임 있는 혁신이란 실험실에 들어서는 첫날부터 결과를 고려하고 제품 수명 전반에 걸쳐 계속 그렇게 한다는 것을 의미합니다."라고 그녀는 말했습니다. "나는 [이러한 모델이] 당신의 감정이 당신의 직업, 대출, 대학 입학 여부를 결정하는 유토피아적인 미래로 이어질 수 있는 수많은 잠재적 문제를 생각할 수 있습니다."