현재 인공 지능 시각적 모델의 일반적인 편견 문제에 대응하여 Sony AI 팀은 최근 공정성 테스트 및 윤리적 데이터 수집의 표준화를 촉진하기 위해 "FHIBE(Fair Human-Centric Image Benchmark)"라는 새로운 데이터 세트를 출시했습니다.
이 데이터 세트의 모든 이미지는 전 세계 81개 국가 및 지역을 대상으로 본인의 동의를 받아 수집되었습니다. 총 10,318개의 이미지와 1,981개의 독립된 피사체가 포함되어 있습니다. 각 이미지에는 개발자가 모델에 대한 자세한 평가를 수행할 수 있도록 경계 정의, 분할 마스크, 카메라 매개변수 등 전문적인 정보를 포함한 자세한 주석이 포함되어 있습니다.
Sony AI의 글로벌 AI 거버넌스 책임자인 Alice Xiang은 모델이 데이터와 알고리즘에 의존하기 때문에 현실을 객관적으로 반영할 수 있다는 것이 컴퓨터 비전 분야의 오해라고 말했습니다. 실제로 모델 학습 프로세스의 데이터 편향은 실제 성능에 직접적인 영향을 미칩니다. 예를 들어, 중국의 일부 휴대폰 얼굴 인식 시스템에는 교육 데이터에 아시아인 얼굴이 부족하여 가족 구성원이 실수로 장치 잠금을 해제하고 결제를 완료하여 보안 위험이 발생했습니다. 또한, 기존의 시각적 모델 역시 여의사를 간호사로 잘못 분류하거나, 의도치 않게 직업, 인종, 성별에 대한 고정관념을 강화하는 등의 문제를 안고 있었습니다.
이전에는 공정성을 평가하기 위해 사용되는 대부분의 컴퓨터 비전 데이터 세트는 피험자의 동의를 얻지 못했고 심지어 인터넷 플랫폼에서 직접 이미지를 크롤링하여 많은 저작권 및 개인 정보 보호 분쟁을 일으켰습니다. 이와 대조적으로 FHIBE의 모든 데이터 수집에는 동의 및 보상 프로세스에 대한 완전한 공개 기록이 있으며 업계의 새로운 윤리적 표준을 설정한 것으로 간주됩니다.
Sony AI 팀은 FHIBE 테스트를 기반으로 지정된 성별 대명사(예: "She/Her/Hers")를 처리할 때 헤어스타일의 다양성으로 인해 일부 모델의 정확도가 감소한다는 사실을 발견했습니다. 모델은 또한 직업 인식 작업에서 범죄 활동을 특정 인종 집단과 부당하게 연관시킬 수도 있습니다. 팀은 FHIBE가 개발자가 적시에 이러한 편차를 발견하고 수정하도록 돕고, 업계가 데이터 수집의 윤리와 공정성에 더 많은 관심을 기울이도록 장려하며, R&D 직원이 데이터 계층 혁신 개선에 더 많은 리소스를 투자하도록 장려할 수 있다고 강조했습니다.
현재 미국 연방 차원에서는 AI 윤리와 공정성을 구체적으로 뒷받침하는 정책을 아직 도입하지 않았지만, EU AI법과 미국 일부 주의 관련 규정에서는 고위험 영역의 알고리즘 편향 검토를 요구하기 시작했습니다. 소니 그룹은 AI 윤리 평가 프로세스에 FHIBE 데이터 세트를 채택하고 AI 윤리 강령을 준수하는 비즈니스 모델의 공정성을 적극적으로 검토하고 있습니다.
Alice Xiang은 '데이터 허무주의'가 업계에서 점점 더 만연해지고 있다고 믿으며, FHIBE의 사례는 AI 기술이 전적으로 동의 및 보상된 데이터를 기반으로 개발될 수 있음을 보여줍니다. FHIBE의 현재 규모는 여전히 작고 빅 데이터 교육을 지원하기에 충분하지 않지만 업계에 방법 시연을 제공하고 데이터 계층 혁신에 더 많은 관심을 집중시키는 것이 그 의미가 있으며 이는 여전히 현재 AI 분야에서 해결해야 할 중요한 문제입니다.