딥러닝과 거대언어모델의 만남: 뇌의 시각피질을 해석하는 새로운 방법, LaVCa

마쓰야마 타쿠야, 니시모토 신지, 다카기 유 연구팀이 개발한 LaVCa는 LLM을 활용하여 뇌의 시각피질 활동을 자연어로 설명하는 혁신적인 방법입니다. 기존 방법보다 정확하고 상세한 분석을 제공하며, 시각피질 내 미세한 기능적 차이와 다중 개념 동시 표상을 발견하는 데 성공했습니다. 이는 인간 뇌 이해에 새로운 전기를 마련할 획기적인 연구입니다.

인간 뇌의 신경 집단(또는 복셀) 특성을 이해하는 것은 인간의 지각 및 인지 능력에 대한 이해를 높이고 뇌에서 영감을 받은 컴퓨터 모델 개발에 기여할 수 있습니다. 최근 딥러닝 네트워크(DNN)를 사용하는 인코딩 모델은 복셀 단위 활동을 성공적으로 예측해왔습니다. 하지만 DNN의 블랙박스 특성으로 인해 복셀 반응을 설명하는 특성을 해석하는 것은 여전히 어려운 과제였습니다.

이러한 문제를 해결하기 위해, 마쓰야마 타쿠야, 니시모토 신지, 다카기 유 3인의 연구팀은 LaVCa (LLM-assisted Visual Cortex Captioning) 라는 데이터 기반 접근 방식을 제안했습니다. LaVCa는 거대 언어 모델(LLM)을 사용하여 복셀이 선택적으로 반응하는 이미지에 대한 자연어 캡션을 생성합니다.

연구팀은 LaVCa를 이미지 유발 뇌 활동에 적용하여 기존 방법보다 더 정확하게 복셀 선택성을 설명하는 캡션을 생성함을 보여주었습니다. 뿐만 아니라, LaVCa가 생성한 캡션은 복셀 간 및 복셀 내 수준 모두에서 기존 방법보다 더 상세한 특성을 정량적으로 포착합니다.

더 나아가, LaVCa에 의해 생성된 복셀 특이적 특성에 대한 자세한 분석을 통해 시각 피질의 관심 영역(ROI) 내에서 미세한 기능적 차이와 여러 개별 개념을 동시에 나타내는 복셀을 발견했습니다. 이러한 발견은 시각 피질 전체에 상세한 캡션을 할당함으로써 인간의 시각적 표상에 대한 심오한 통찰력을 제공하며, 뇌 표상을 이해하는 데 있어 LLM 기반 방법의 잠재력을 강조합니다.

LaVCa의 핵심:

• LLM의 활용: 이미지에 대한 복셀 반응을 자연어로 설명, 해석 가능성 향상
• 정확성 향상: 기존 방법보다 정확하고 상세한 뇌 활동 특징 파악
• 미세한 기능적 차이 발견: 시각 피질 내 복셀의 다양한 기능적 역할 규명

이 연구는 딥러닝과 거대 언어 모델의 시너지 효과를 보여주는 훌륭한 사례이며, 인간 뇌의 복잡한 기능을 이해하는 데 새로운 가능성을 열었습니다. [자세한 내용은 연구팀 웹페이지(https://sites.google.com/view/lavca-llm/) 참조] 💡