MetaPlatforms의 기초 인공 지능 연구 팀의 연구원들은 오늘 로봇이 물리적 세계와 상호 작용하는 방법을 가르치는 데 사용되는 인공 지능 시뮬레이션 환경인 Habitat의 고급 버전을 출시할 것이라고 밝혔습니다.
Habitat 3.0 출시와 함께 회사는 인공 지능 내비게이션 에이전트를 훈련하는 데 사용할 수 있는 3차원 아티스트 제작 데이터 세트인 Habitat Synthetic Scenes Dataset의 출시도 발표했습니다. 시뮬레이션 및 실제 환경에서 사용할 수 있는 저렴한 로봇 보조 소프트웨어 및 하드웨어 플랫폼인 HomeRobot입니다.
FAIR 연구원들은 블로그 게시물에서 새로 출시된 제품이 "구체화된 인공 지능" 분야의 지속적인 발전을 상징한다고 설명했습니다. "구체화된 AI"란 환경을 감지하고 상호 작용할 수 있고, 인간 파트너와 환경을 안전하게 공유하며, 디지털 및 물리적 세계에서 인간 파트너와 통신하고 지원할 수 있는 인공 지능 에이전트를 의미합니다.
Habitat은 사무실 공간, 집, 창고 등 가상 환경의 카탈로그로, 인공 지능 로봇이 현실 세계를 탐색하는 능력을 훈련하고 향상시키는 데 사용할 수 있습니다. 가상 환경은 테이블, 의자, 심지어 책과 같은 물체의 모양과 크기를 정확하게 측정할 수 있는 적외선 캡처 시스템을 사용하여 세심하게 구성되었습니다. 이러한 환경에서 연구자들은 주변 환경을 보고 이해하는 로봇의 능력이 필요한 복잡한 다단계 작업을 완료하도록 로봇을 훈련시킬 수 있습니다.
Habitat 3.0은 로봇과 인간형 아바타를 모두 지원하여 이러한 기존 기능을 기반으로 구축되어 인간과 로봇이 다양한 작업에서 협업할 수 있도록 합니다. 예를 들어, 인간과 로봇은 함께 작업하여 거실을 청소하거나 주방에서 요리법을 준비할 수 있습니다. FAIR는 이것이 다양한 실제 작업에서 인간과 로봇 간의 협력을 연구하는 새로운 방법을 열어준다고 말했습니다. FAIR는 "Habitat 3.0"의 인간 아바타가 매우 현실적이며 자연스러운 보행과 움직임을 통해 가장 현실적인 저수준 및 고수준 상호 작용을 가능하게 한다고 밝혔습니다.
연구진은 "시뮬레이션 환경에서 인간과 로봇이 공존함으로써 처음으로 집과 같은 환경에서 인간형 아바타가 있는 상태에서 로봇 AI 전략을 학습하고 일상 작업 중에 실제 사람들과 함께 이러한 전략을 평가할 수 있게 됐다"고 밝혔습니다.
FAIR는 '해비타트 3.0'이 로봇 인공지능 에이전트의 학습 시간을 수개월, 심지어 수년에서 며칠로 단축할 것이라고 밝혔다. 또한 위험 없이 안전한 시뮬레이션 환경에서 새로운 모델을 더 빠르게 테스트할 수 있습니다.
HSSD-200으로 알려진 Habitat Synthetic Scenes Dataset은 훈련에 있어 실제 장면의 3차원 시뮬레이션이 중요하므로 AI 연구를 가속화하는 데도 도움이 됩니다. FAIR는 HSSD-200이 3차원 장면이 이전보다 실제 세계의 장면을 더 정확하게 반영하기 때문에 이전 데이터 세트보다 성능이 뛰어나다고 설명합니다. 실제 주택과 기타 환경을 복제한 211개의 고품질 3D 장면으로 구성되어 있으며 466개의 의미 카테고리에 18,656개의 실제 객체 모델이 포함되어 있습니다.
FAIR에 따르면 HSSD-200은 WordNet 온톨로지에 해당하는 세분화된 의미 체계 분류를 제공하는 동시에 자산 압축 기능을 통해 고성능 구현 AI 시뮬레이션을 가능하게 합니다. 전문 3D 아티스트가 개별 개체를 제작하여 실제 브랜드의 가구 및 가전 제품의 모양과 크기를 정확하게 일치시킵니다.
마지막으로 FAIR는 Habitat에서 훈련한 모델을 물리적 세계에 적용하기 위해 물리적 로봇을 만들고자 하는 연구자를 위한 하드웨어 및 소프트웨어 사양인 새로운 HomeRobot 라이브러리를 소개합니다.
HomeRobot은 사용자 친화적인 소프트웨어 스택과 저렴한 하드웨어 구성 요소를 기반으로 하므로 빠르고 쉽게 설정하고 실제 테스트에 대비할 수 있습니다. 이는 로봇이 보이지 않는 환경에서 물체를 집어 지정된 위치에 배치하는 능력인 개방형 모바일 조작 연구를 위해 설계되었습니다. 이를 위해서는 로봇이 직면하는 새로운 시나리오를 감지하고 이해할 수 있어야 합니다.
Constellation Research Inc.의 Holger Mueller는 Meta의 발표는 회사가 가상 세계에서 지능형 로봇을 훈련하고 테스트하는 데 사용할 수 있는 강력한 소프트웨어를 통해 생성 인공 지능(Generative AI)에 대한 과대광고를 넘어 실질적인 진전을 이루고 있음을 보여준다고 말했습니다. 그는 "Habitat 3.0은 이제 인간-로봇 상호 작용에 초점을 맞추고 있습니다. 왜냐하면 일상 생활에서 기능할 수 있는 로봇을 구축하려면 완벽해야 하는 핵심 이정표이기 때문입니다. 이러한 환경에서 물리적 개체를 생성하는 데 비용이 많이 들고 시간이 많이 걸리기 때문에 HSSD-200 데이터 세트는 매우 유용합니다."
FAIR는 이러한 발전으로 인해 더 많은 것이 나올 것이라고 말했습니다. 현재 진행 중인 구체화된 AI 연구의 다음 단계는 우리가 살고 있는 현실 세계를 반영하는 역동적이고 끊임없이 변화하는 환경에서 로봇이 인간과 어떻게 협력할 수 있는지에 초점을 맞출 것입니다.
연구원들은 다음과 같이 설명합니다. "다음 연구 단계에서는 Habitat 3.0 시뮬레이터를 사용하여 인공 지능 모델을 훈련시켜 로봇이 인간 파트너를 돕고 그들의 선호도에 적응할 수 있도록 할 것입니다. 우리는 Habitat 3.0과 함께 HSSD-200을 사용하여 대규모 인간-로봇 상호 작용 및 협업에 대한 데이터를 수집하여 보다 강력한 모델을 훈련할 것입니다. 시뮬레이션에서 학습한 모델을 실제 세계에 배치하여 성능을 더 잘 측정하는 데 중점을 둘 것입니다."