비행기에 두 명의 조종사, 즉 인간 한 명과 컴퓨터 한 명이 있다고 상상해 보십시오. 두 사람 모두 컨트롤러를 "손"으로 잡고 있지만 항상 다른 것에 집중하고 있습니다. 모두가 같은 일에 집중한다면 인간이 주도권을 잡을 수 있습니다. 그러나 인간이 주의가 산만해지거나 뭔가를 놓치면 컴퓨터가 빠르게 그 자리를 대신합니다. 인간의 직관과 기계의 정밀도를 결합하면 조종사와 항공기 사이에 더욱 공생적인 관계가 형성됩니다.


Air-Guardian을 사용하면 컴퓨터 프로그램이 인간 조종사의 시선을 추적하여(안구 추적 기술 사용) 조종사가 주의를 기울이고 있는 내용을 더 잘 이해할 수 있습니다. 이는 조종사가 무엇을 하고 있거나 무엇을 하려고 하는지에 따라 컴퓨터가 더 나은 결정을 내리는 데 도움이 됩니다. 사진 출처: AlexShipps/MITCSAILviaMidjourney

MIT 컴퓨터과학과 인공지능연구소(CSAIL) 연구진이 개발한 '스카이가디언(SkyGuardian)' 시스템이다. 현대의 조종사는 특히 중요한 순간에 여러 모니터에서 나오는 많은 양의 정보를 처리해야 합니다. Air-Guardian은 적극적인 부조종사 역할을 할 수 있습니다. 이는 근본적으로 주의 이해에 기초한 인간과 기계 간의 파트너십입니다.

하지만 그것이 정확히 어떻게 관심을 결정하는가? 인간의 경우 시선 추적을 사용하는 반면, 신경 시스템의 경우 주의 방향을 정확히 찾아내는 "돌출성 지도(salience map)"라는 개념을 사용합니다. 이러한 맵은 시각적 가이드 역할을 하여 이미지의 주요 영역을 강조 표시하여 복잡한 알고리즘의 동작을 파악하고 해석하는 데 도움을 줍니다. Air-Guardian은 기존 자율 주행 시스템의 경우처럼 안전 위반이 발생할 때만 개입하는 대신 이러한 주의 표시를 사용하여 잠재적인 위험의 조기 징후를 식별합니다.

시스템의 광범위한 영향은 항공 분야를 넘어 확장됩니다. 언젠가는 유사한 협력 제어 메커니즘이 자동차, 드론 및 더 넓은 로봇 분야에 사용될 수 있습니다.

MIT CSAIL의 박사후 연구원이자 Air-Guardian에 대한 새로운 논문의 첫 번째 저자인 Lianhao Yin은 다음과 같이 말했습니다. "우리 접근 방식의 흥미로운 특징은 차별화 가능성입니다. 우리의 협력 계층과 전체 엔드투엔드 프로세스는 훈련 가능합니다. 우리는 주의 매핑의 동적 특성 때문에 인과 연속 심층 신경망 모델을 특별히 선택했습니다. 또 다른 독특한 특징은 적응성입니다. Air-Guardian 시스템은 경직되지 않으며 실제 상황에 따라 조정될 수 있어 인간과 인간 사이의 균형 잡힌 협력을 보장합니다. 기계."

현장 테스트 및 결과

현장 테스트에서 조종사와 시스템은 모두 목표 웨이포인트로 이동할 때 동일한 원시 이미지를 기반으로 결정을 내렸습니다. Air-Guardian 성공은 비행 중에 얻은 누적 보상과 웨이포인트까지의 더 짧은 경로로 측정됩니다. Guardian은 비행의 위험 수준을 줄이고 목표 지점으로의 항해 성공률을 높입니다.

MIT CSAIL 연구소 회원이자 Liquid Neural Network의 발명가인 Ramin Hasani는 다음과 같이 덧붙였습니다. "이 시스템은 AI 항공 혁신에 대한 인간 중심의 접근 방식을 나타냅니다. 우리가 Liquid Neural Network를 사용하는 것은 AI가 단순히 인간의 판단을 대체하는 것이 아니라 이를 보완하여 하늘에서의 안전과 협업을 향상시키는 역동적이고 적응적인 접근 방식을 제공합니다."

기술 기반 및 향후 전망

Air-Guardian의 진정한 강점은 기반 기술에 있습니다. 인간과 기계의 시각적 주의를 활용하는 최적화 기반 협업 레이어와 인과관계를 해독하는 것으로 알려진 액체 폐쇄형 연속시간 신경망(CfC)을 사용하여 들어오는 이미지를 분석하여 중요한 정보를 찾아냅니다. 보완적인 VisualBackProp 알고리즘은 이미지에서 시스템의 초점을 식별하여 주의 지도를 명확하게 이해할 수 있도록 합니다.

미래에 널리 사용되기 위해서는 인간-기계 인터페이스의 개선이 필요합니다. 피드백에서는 막대 그래프와 같은 지표가 모니터링 시스템이 제어를 시작하는 시점을 보다 시각적으로 표현할 수 있다고 제안했습니다.

SkyGuard는 인간의 주의가 흔들리는 순간에 안정적인 안전망을 제공하여 더 안전한 하늘의 새로운 시대를 예고합니다.

"SkyGuard 시스템은 인간의 전문 지식과 기계 학습 사이의 시너지 효과를 강조하여 기계 학습을 사용하여 조종사 능력을 향상시키고 어려운 시나리오에서 운영 오류를 줄이는 목표를 더욱 발전시킵니다."라고 Andrew(1956)와 MIT 전기 공학 및 컴퓨터 과학 교수이자 CSAIL 이사이자 논문의 수석 저자인 Erna Viterbi 교수가 말했습니다.

하버드 대학교 컴퓨터과학과 조교수인 스테파니 길(Stephanie Gil)은 "이 연구에서 시각적 주의 측정 기준을 사용한 가장 흥미로운 결과 중 하나는 인간 조종사가 더 일찍 개입하여 해석 가능성을 향상시킬 수 있는 가능성입니다."라고 말했습니다. "이것은 인공 지능을 사용하여 인간과 협력하는 방법을 보여주는 훌륭한 예이며, 인간과 인공 지능 시스템 간의 자연스러운 통신 메커니즘을 활용하여 신뢰 달성의 문턱을 낮춥니다."