뇌파로 영상을 재구성하다: 시각 피질 모방 AI 모델 NEURONS

왕하오난 연구팀이 개발한 NEURONS 모델은 인간 시각 피질의 구조를 모방하여 fMRI 데이터로부터 동영상을 재구성하는 혁신적인 AI 모델입니다. 기존 기술 대비 비디오 일관성과 의미 수준 정확도를 크게 향상시켰으며, 뇌-컴퓨터 인터페이스 및 임상 응용 분야에 큰 가능성을 제시합니다.

인간의 뇌 활동을 해석하는 것은 늘 과학자들의 숙제였습니다. 특히 뇌의 시각 정보 처리 과정을 이해하고, 이를 바탕으로 뇌 활동만으로 영상을 재구성하는 것은 오랫동안 풀리지 않은 난제였죠. 기존 fMRI(기능적 자기공명영상) 기술은 정지 이미지 재구성에는 성공했지만, 움직임이나 장면 전환과 같은 시간적 요소를 담은 동영상 재구성에는 어려움을 겪었습니다.

하지만 최근, 왕하오난(Haonan Wang) 연구팀이 개발한 NEURONS 모델이 이러한 한계를 뛰어넘는 놀라운 성과를 보여주었습니다! NEURONS는 인간 시각 피질의 계층적 구조를 모방하여 fMRI 데이터로부터 동영상을 재구성하는 혁신적인 프레임워크입니다.

시각 피질의 비밀을 풀다: NEURONS의 작동 원리

NEURONS는 단순히 fMRI 데이터를 해석하는 것이 아니라, 시각 정보 처리 과정을 4단계로 나누어 학습합니다. 마치 시각 피질의 기능적 특수화를 모방한 듯, 핵심 객체 분할, 개념 인식, 장면 설명, 흐릿한 비디오 재구성이라는 네 가지 하위 작업을 통해 시각 정보를 처리합니다. 각 단계는 서로 연관되어 있으며, 최종적으로는 미리 학습된 텍스트-비디오 확산 모델을 이용해 동영상을 재구성합니다.

놀라운 성능 향상: 기존 기술을 뛰어넘다

연구 결과는 놀랍습니다. NEURONS는 기존 최첨단 모델들에 비해 비디오 일관성을 26.6%, 의미 수준 정확도를 19.1%나 향상시켰습니다. 이는 단순히 기술적 진보를 넘어, 실제 시각 피질의 기능과 상당히 높은 상관관계를 보여준다는 점에서 큰 의미를 지닙니다.

미래를 향한 발걸음: 뇌-컴퓨터 인터페이스와 임상 응용

NEURONS의 성공은 단순한 기술적 발전을 넘어, 뇌-컴퓨터 인터페이스(BCI) 및 임상 응용 분야에 혁신적인 가능성을 열었습니다. 뇌 활동만으로 영상을 재구성할 수 있다면, 마비 환자의 의사소통, 뇌졸중 환자의 재활 치료 등 다양한 분야에서 획기적인 발전을 가져올 수 있습니다.

왕하오난 연구팀은 NEURONS 모델과 코드를 공개하여 (https://github.com/xmed-lab/NEURONS) 전 세계 연구자들의 참여와 발전을 기대하고 있습니다. 뇌과학과 인공지능 기술의 융합이 만들어낼 놀라운 미래를 기대하며, 앞으로 NEURONS가 어떻게 발전하고 활용될지 주목할 필요가 있습니다.