실제 장면에서 인체의 3차원 구조를 추정하는 것은 어려운 작업이며 인공 지능, 그래픽, 인간-컴퓨터 상호 작용과 같은 분야에서 큰 의미를 갖습니다. 그러나 기존 3D 인간 자세 추정 데이터세트는 일반적으로 정적 배경의 통제된 조건에서 수집되며 실제 장면의 다양성을 표현하지 못하므로 실제 적용을 위한 정확한 모델 개발이 제한됩니다.
이와 관련하여 Human3.6M 및 HuMMan과 유사한 기존 데이터 세트는 3D 인간 자세 추정에 널리 사용되지만 통제된 실험실 환경에서 수집되므로 실제 환경의 복잡성을 완전히 포착할 수 없습니다. 이러한 데이터 세트에는 장면 다양성, 인간의 움직임 및 확장성에 제한이 있습니다. 연구자들은 3차원 인간 자세 추정을 위한 다양한 모델을 제안해 왔지만, 기존 데이터 세트의 한계로 인해 실제 장면에 적용할 경우 그 효율성이 저하되는 경우가 많습니다.
중국의 한 연구팀이 홍콩중문대학교(심천)와 텐센트 및 기타 기관의 팀이 공동으로 개발한 프로젝트인 "FreeMan"을 출시했습니다. 이는 혁신적인 다중 뷰 데이터 세트로 호평을 받고 있으며 3D 인간 자세 추정 분야에 새로운 혁신을 가져오는 것을 목표로 합니다.
FreeMan은 실제 장면에서 3D 인간 자세 추정에 있어 기존 데이터세트의 한계를 해결하도록 설계된 새로운 대규모 다중 뷰 데이터세트입니다. FreeMan은 보다 정확하고 강력한 모델 개발을 촉진하는 것을 목표로 하는 중요한 기여입니다.
FreeMan 프로젝트의 특징 중 하나는 데이터 세트의 규모와 다양성입니다. 데이터 세트는 10개의 다른 장면과 27개의 실제 장소를 포함하여 다양한 시나리오에서 8개의 스마트폰을 동시에 녹화한 것으로 구성되며 총 1,100만 개 이상의 비디오 프레임을 포함합니다. 각 장면은 다양한 조명 조건을 다루므로 이 데이터세트를 고유한 리소스로 만듭니다.
FreeMan 데이터 세트는 대규모 사전 훈련 데이터 세트의 개발을 촉진하고 야외 3D 인간 자세 추정을 위한 새로운 벤치마크를 제공하기 위해 오픈 소스로 제공됩니다. 이 데이터 세트에는 비디오가 포함될 뿐만 아니라 2D 및 3D 인체 핵심 포인트, SMPL 매개변수, 경계 상자 등을 포함한 풍부한 주석 정보도 제공되어 연구자에게 관련 분야의 연구를 촉진할 수 있는 풍부한 리소스를 제공합니다.
FreeMan이 카메라 매개변수와 인간 규모의 변화를 도입하여 더욱 대표성을 갖게 한다는 점은 주목할 가치가 있습니다. 연구팀은 수집된 데이터로부터 정확한 3D 주석을 효율적으로 생성하기 위해 자동화된 주석 프로세스를 개발했습니다. 이 프로세스에는 사람 감지, 2D 핵심 포인트 감지, 3D 포즈 추정 및 메쉬 주석이 포함됩니다. 결과 데이터 세트는 단안 3D 추정, 2D에서 3D로의 변환, 다중 뷰 3D 추정 및 인간 피험자의 신경 렌더링을 포함한 다양한 작업에 유용합니다.
연구원들은 다양한 작업에 대한 FreeMan의 포괄적인 평가 기준을 제공합니다. 그들은 FreeMan에서 훈련된 모델의 성능을 Human3.6M 및 HuMMan에서 훈련된 모델과 비교했습니다. 특히, FreeMan에서 훈련된 모델은 3DPW 데이터 세트에서 테스트했을 때 훨씬 더 나은 성능을 보여 실제 시나리오에서 FreeMan의 탁월한 일반화 능력을 강조했습니다.
멀티뷰 3D 인간 자세 추정 실험에서는 Human3.6M으로 학습한 모델과 비교하여 FreeMan으로 학습한 모델이 크로스 도메인 데이터세트에서 테스트했을 때 더 나은 일반화 능력을 보였습니다. 결과는 FreeMan의 다양성과 규모의 장점을 일관되게 보여줍니다.
2D에서 3D로의 포즈 변환 실험에서 FreeMan의 과제는 분명합니다. 왜냐하면 이 데이터 세트로 훈련된 모델이 더 큰 어려움에 직면하기 때문입니다. 그러나 모델이 전체 FreeMan 훈련 세트에 대해 훈련되었을 때 성능이 향상되어 이 데이터 세트가 모델 성능을 향상시킬 수 있는 잠재력을 보여주었습니다.
FreeMan의 가용성은 인체 모델링, 컴퓨터 비전 및 인간-컴퓨터 상호 작용 분야의 발전을 촉진하여 통제된 실험실 조건과 실제 시나리오 간의 격차를 해소할 것으로 예상됩니다.