과학자들은 높은 정밀도로 시각적 장면을 재구성하고 마우스 두뇌 활동을 영화로 변환합니다.

처음으로 과학자들은 뇌 활동만을 사용하여 쥐의 10초짜리 비디오 클립을 성공적으로 재구성하여 뇌가 시각적 경험을 어떻게 인코딩하고 처리하는지 이해할 수 있는 새로운 창을 열었습니다. 이번 성과는 유니버시티 칼리지 런던(UCL)이 이끄는 연구팀의 성과다. 관련 논문은 최근 'eLife' 저널에 게재됐다.

최근 몇 년 동안 신경과학 분야에서는 인간의 뇌가 눈에 수신된 신호를 통해 우리가 보는 세상을 어떻게 '접합'하는지에 계속해서 초점을 맞춰 왔습니다. 과거 연구에서는 주로 기능적 자기 공명과 같은 영상 장비에서 지원자에게 이미지나 비디오를 보여준 다음 뇌 활동의 시각적 정보를 단일 픽셀로 디코딩하려고 했습니다. 이 연구는 이러한 일반적인 목표를 이어가지만 뇌의 시각적 표현에 대한 보다 자세한 그림을 얻기 위해 쥐의 단일 세포 수준 기록을 통해 시각 피질의 활동을 추적하기로 결정했습니다.

연구팀은 생쥐의 시각 피질에서 얻은 활동 데이터만을 사용하여 이전에 본 생쥐의 비디오 클립을 놀라운 품질로 재구성할 수 있었습니다. 논문의 첫 번째 저자인 UCL 세인스베리 웰컴 센터(Sainsbury Wellcome Centre)의 조엘 바우어(Joel Bauer)는 뇌가 보는 것을 어떻게 이해하는지 탐구하기 위한 보다 일반적이고 현실적인 방법을 찾고 싶다고 말했습니다. 기존의 많은 방법들은 특정 조건이나 자극만을 토대로 추론을 할 수 있어 보다 자연스럽고 복잡한 시각적 장면으로 일반화하기 어려운 반면, 새로운 방법들은 뇌가 나타내는 것을 직접 포착하여 현실과 비교하려고 합니다.

구체적인 기술로는 연구팀이 '동적 신경 코딩 모델'을 채택했다. 원래 2023년 Sensorium 대회를 위해 다른 팀이 개발한 이 모델은 동물의 자발적인 움직임과 동공 직경과 같은 요인을 고려하여 쥐가 영화를 볼 때 각 뉴런의 활동 강도를 예측하는 데 사용되었습니다. UCL 팀은 동일한 데이터 세트를 기반으로 모델을 더욱 개선했습니다. 두 가지 유형의 신경 활동, 즉 쥐가 "빈 화면"을 볼 때 모델에 의해 예측된 활동과 현미경 이미징 기술로 측정된 실제 활동을 비교했습니다. 이 이미징 방법은 세포 내 국소 칼슘 농도의 변화를 기반으로 특정 시점에 어떤 뉴런이 활성화되는지 정확하게 식별할 수 있습니다.

모델이 실행되는 동안 연구원들은 "빈 영화"에서 시작하여 생성된 비디오가 쥐가 실제로 시청한 비디오와 통계적으로 매우 일치할 때까지 알고리즘을 사용하여 각 픽셀을 지속적으로 조정합니다. 훈련을 마친 후 모델은 새로운 비디오를 시청하는 생쥐의 뇌 활동을 기반으로 약 10초 길이의 비디오 클립을 재구성할 수 있었습니다. 재구성에 사용된 이러한 비디오는 모델 훈련에 참여하지 않았으며 이는 방법의 다양성을 더 잘 반영한다는 점은 주목할 가치가 있습니다.

Ball은 더 많은 개별 뉴런의 데이터를 추가한 후 재구성된 비디오의 세부 사항이 크게 향상되었다고 지적하면서 보다 포괄적인 신경 데이터를 얻는 것이 중요하다는 점을 강조했습니다. 재구성을 평가하기 위해 팀은 픽셀 상관 측정법을 사용하여 원본 영화의 각 프레임의 각 픽셀을 재구성된 영화의 해당 픽셀과 비교했습니다. 결과는 둘 사이의 공간과 시간의 차이가 상대적으로 제한되어 있음을 보여 주며, 이러한 두뇌 활동을 기반으로 한 '영화 번역'이 매우 높은 정확도를 달성할 수 있음을 나타냅니다.

앞으로 연구진은 더 명확하고 더 넓은 시각적 장면 재구성을 지원하기 위해 더 높은 해상도와 더 넓은 범위의 뇌 데이터를 수집할 계획입니다. 응용 측면에서 그들은 특히 이 기술을 사용하여 "인식-현실 편차", 즉 뇌의 시각적 표현이 우리 앞에 있는 객관적인 이미지에서 벗어나는 이유와 방법을 탐구하기를 희망합니다. Ball은 인간의 뇌에 완전히 실제적인 "세계의 복사본"이 없다는 점을 지적했습니다. 시각적 정보는 전송 및 처리 과정에서 선택적으로 증폭, 압축 또는 왜곡됩니다. 이러한 편차는 단순한 오류가 아니라 인지된 정보를 해석하고 강화하기 위해 뇌가 사용하는 기능적 메커니즘입니다.

생쥐의 시각 필름 재구성에 대한 이 연구는 미래에 더 복잡한 동물과 심지어 인간에서도 유사한 작업의 토대를 마련합니다. 이미징 기술, 계산 모델 및 데이터 분석 방법의 지속적인 개발을 통해 과학자들은 우리가 세상을 "보는" 방법에 대해 더 깊은 이해를 얻을 수 있으며 시각 장애, 뇌-컴퓨터 인터페이스 및 몰입형 인공 인식 시스템의 진단 및 치료에 대한 새로운 이론적 지원을 제공할 것으로 기대됩니다.