"이것은 메타버스에서 Zuckerberg와 나눈 대화입니다. 저는 Mark와 물리적으로 수백 마일 떨어져 있지만 그와 직접 대면하는 것 같은 느낌을 받습니다. 우리의 이미지는 사진처럼 정확한 3D 모델로 모델링되기 때문에 이 기술은 놀랍습니다! 이것이 미래에 사람들이 인터넷에서 소통하는 방식이 될 것이라고 생각합니다."라고 LexFridman은 말했습니다.


어제 MIT(매사추세츠 공과대학) 과학자 Lex Fridman과 Meta CEO Mark Zuckerberg의 원격 대화가 소셜 네트워크에서 가장 큰 인기를 끌었습니다. 메타버스에서 한 시간 동안 진행된 인터뷰 영상은 단숨에 수천만 조회수를 기록했습니다.

이제 메타버스에서는 우리의 이미지가 몸 전체의 디테일부터 표정, 움직임까지 실제 사람들과 거의 똑같을 수 있는데, 너무 자연스러워서 놀랍습니다.

따라서 현실 세계에서는 표현식 관리에 주의를 기울여야 합니다.


그 효과는 너무 현실적이어서 사람들이 압도감을 ​​느끼게 됩니다.

LexFridman 팟캐스트의 "First Metaverse Conversation"에서 Zuckerberg는 스캐닝 기술을 사용하여 사용자 얼굴의 3D 모델을 구축한 다음 기계 학습 구현으로 구동되는 Meta의 새로운 코덱 가상 현실 아바타를 선보였습니다. 대화 중에 새로운 헤드셋은 사용자의 얼굴 표정을 감지하고 이를 실시간으로 3D 아바타에 매핑하여 동작을 형성합니다.

Zuckerberg는 Metaverse 대화에 대해 "플랫폼은 기본적으로 비디오 전송보다 대역폭 효율적인 방식으로 네트워크를 통해 인코딩된 이미지 버전을 전송합니다."라고 말했습니다.

물론 메타버스에서는 조명 수정과 같이 이미지를 사용자 정의할 수도 있습니다.


다리가 없고, 눈이 둔하고, 불편하다는 조롱을 받았던 메타의 원래 아바타와 달리, 새로운 세대의 아바타는 극도로 사실적으로 보이고, 지연 시간이 거의 없으며, 가상 세계에서 다른 사람들과 함께 있는 듯한 느낌을 줍니다.

저커버그는 “이것은 증강현실 비전의 핵심으로, 세계 어디에 있든 존재감을 제공하는 것”이라고 말했다.

이 모든 것이 렌더링 하드웨어에 더 많은 부하를 가하는 것은 분명합니다. 대화 중에 Zuckerberg와 Fridman은 모두 얼굴 및 시선 추적 기능이 내장된 최신 버전의 QuestPro를 착용하고 있었습니다. 참고로 이건 며칠 전에 출시된 퀘스트3가 아닙니다. QuestPro는 2025년까지 공식적으로 출시되지 않을 수 있습니다.


코덱 이미지는 3D 가상 모델을 구축하기 위해 사용자의 얼굴을 스캔해야 합니다.

저커버그의 인터뷰도 메타버스에 있었고, 대화 내용도 메타버스에 있었다. 한 시간 동안 진행된 대화에서 주커버그는 메타버스, 증강 현실, 대형 모델 및 기타 주제에 대해 이야기했습니다.

저커버그는 실제로 사람 사이의 의사소통은 대부분 언어를 통해서 이루어지는 것이 아니라 표현 등 세부적인 부분을 통해 이루어진다고 말했다. Meta는 표정을 포착하기 위해 더 많은 만화 아바타를 사용하여 현실감을 가지면서도 현실적인 경험을 제공하려고 노력하고 있습니다.

그는 사용자들이 더 과장된 감정을 표시하기 위해 가상 도플갱어를 편집할 수 있다고 제안했으며, 아바타 기술을 사용하여 그의 유명한 데드팬 전달을 조정할 수도 있다고 농담했습니다.


아바타는 인상적이지만 널리 사용되기까지는 다소 시간이 걸릴 수 있습니다.

이 인터뷰에 표시된 수치는 현재 일반 소비자의 손이 닿지 않는 수백 대의 카메라가 포함된 몇 시간에 걸친 최첨단 스캐닝을 사용하여 생성되었다는 점에 유의하는 것이 중요합니다.

그러나 Zuckerberg는 인터뷰에서 Meta의 계획은 사람들이 스마트폰을 사용하여 매우 빠르게 스캔할 수 있도록 하는 것이라고 말했습니다.

Zuckerberg는 LexFridman에게 "휴대폰을 들고 몇 분 동안 앞에서 흔들고, 몇 마디 말하고, 여러 가지 표정을 지으면 AI가 지금 우리가 가지고 있는 것과 같은 품질을 생성할 수 있습니다"라고 말했습니다.

Zuckerberg는 Meta가 향후 몇 년에 걸쳐 자사 제품에 이 기술을 통합할 계획이라고 말했습니다.

현재의 사실적인 투영은 Meta의 무료 VR 게임과 소셜 플랫폼 HorizonWorlds에 사용되는 만화 아바타에 비해 크게 개선되었습니다.


저커버그의 메타버스 셀카.

지난해 주커버그는 가상 에펠탑 밖에 자신의 메타버스 아바타 셀카를 게시해 소셜미디어에서 조롱을 받았고, 댓글러들은 그 이미지를 1990년대 비디오 게임과 비교했다. 저커버그는 당시 아바타가 '기본'이었다고 인정했다.

불과 1년 만에 의외로 기술이 많이 발전했습니다.

AI 과학자 Lex Fridman은 인터뷰에서 다음과 같이 한탄했습니다. "이 느낌을 어떻게 설명해야 할지 모르겠습니다. 마치 우리가 미래처럼 같은 방에 있는 것 같습니다."

Zuckerberg의 지속적인 노력은 Horizon Worlds에 대한 인식을 변화시키고 있습니다. 그는 LexFridman에게 현실적인 아바타가 메타버스의 이미지 때문에 거부감을 느끼는 사람들을 끌어들이는 데 도움이 될 수 있다고 말했습니다. "사람들은 이 경험에 깜짝 놀랐지만, 우리는 이 환경에서 아바타가 현실적으로 느껴지지 않는다는 피드백을 사람들로부터 받았습니다."

분명히 오늘날의 메타버스 기능은 우리가 상호 작용하는 방식에 큰 변화를 가져올 것입니다. 틀림없이 이것은 Zuckerberg의 Metaverse 프로젝트 중 가장 인상적인 시연입니다.


"그것은 변했고, 메타버스에 대한 우리의 인식도 변하기 시작했습니다." - 이것은 획기적인 기술입니다.

Meta가 곧 소비자 제품에서 이러한 효과를 달성한다면 판도를 바꾸는 애플리케이션이 될 수 있습니다.