혁신적인 뇌-컴퓨터 인터페이스의 가능성: 영화 시청 실험을 통한 뇌 활동 해독

Simon Dahan 등 연구진은 표면 기반 비전 트랜스포머와 삼중 모드 자기 지도 학습을 활용, 뇌 활동 패턴으로부터 시각 및 청각 자극을 검색하는 모델을 개발했습니다. HCP 영화 시청 실험 데이터를 통해 모델의 정확성을 검증, 개인화된 뇌 기능 시뮬레이션 가능성을 제시했습니다.

최근 사이먼 다한(Simon Dahan) 등 연구진이 발표한 논문 “SIM: 표면 기반 fMRI 분석을 통한 영화 시청 실험에서의 개인 간 다중 모달 해독”은 뇌-컴퓨터 인터페이스(BCI) 분야에 획기적인 발전을 가져올 가능성을 제시합니다. 기존의 뇌 활동 해독 및 인코딩 AI 프레임워크는 동일한 데이터셋 내에서 모델을 학습하고 테스트하는 방식으로, 개인 간 뇌 활동 패턴의 차이를 고려하지 못하는 한계가 있었습니다.

하지만 이번 연구는 표면 기반 비전 트랜스포머(surface vision transformers) 를 활용하여 이 문제를 해결했습니다. 이 방법은 뇌 피질 네트워크의 지형과 상호 작용을 움직이는 이미지처럼 인코딩하여 뇌 활동의 일반화 가능한 모델을 구축합니다. 여기에 오디오, 비디오, fMRI 모달리티의 삼중 모드 자기 지도 학습(tri-modal self-supervised contrastive (CLIP) alignment) 을 결합하여, 뇌 활동 패턴으로부터 시각 및 청각 자극을 검색하고 그 반대로도 가능하게 합니다.

연구진은 인간 커넥톰 프로젝트(HCP)의 영화 시청 실험 데이터(174명의 건강한 참가자, 7T task-fMRI 데이터)를 사용하여 이 방법을 검증했습니다. 그 결과, 훈련 과정에서 보지 못한 개인 및 영화에 대해서도 뇌 활동만으로 개인이 어떤 영화 클립을 보고 있는지 감지하는 것이 가능함을 확인했습니다. 더 나아가, 주의 지도 분석을 통해 모델이 의미 체계와 시각 시스템을 반영하는 개별적인 뇌 활동 패턴을 포착한다는 것을 밝혀냈습니다.

이 연구는 개인화된 뇌 기능 시뮬레이션의 가능성을 열어주는 중요한 결과를 제시합니다. 연구진은 관련 코드와 사전 학습된 모델을 깃허브(https://github.com/metrics-lab/sim)에 공개하고, 훈련 데이터는 요청 시 제공할 예정입니다(https://gin.g-node.org/Sdahan30/sim). 이 연구는 BCI 및 신경 피드백 기술 발전에 크게 기여할 뿐 아니라, 뇌 활동의 보다 정확하고 개인화된 이해를 위한 새로운 지평을 열 것으로 기대됩니다. 앞으로 이 기술이 어떻게 발전하고 활용될지 주목할 만합니다! 🎉