멀티모달 거대언어모델의 미스터리: 훈련 과정의 표현 변화 분석
본 연구는 다중 모드 거대 언어 모델의 미세 조정 과정에서 발생하는 내부 표현 변화를 개념 기반 접근 방식과 이동 벡터를 활용하여 분석하고, 이를 통해 모델의 행동을 훈련 없이도 조정할 수 있음을 보여주는 획기적인 연구입니다.

최근 괄목할 만한 성과를 보이고 있는 다중 모드 거대 언어 모델(Multimodal LLMs). 이러한 모델의 능력 향상에 대한 연구는 활발하지만, 정작 모델의 내부 작동 원리를 이해하고 설명하는 연구는 부족했습니다. 기존 연구들은 주로 최종 상태만을 분석하여 동적인 변화 과정을 간과했죠.
Pegah Khayatan, Mustafa Shukor, Jayneel Parekh, Matthieu Cord 등의 연구진은 이러한 한계를 극복하기 위해 훈련 과정에서 발생하는 내부 표현 변화를 체계적으로 분석하는 연구를 진행했습니다. 그들은 개념 기반 접근 방식을 통해 숨겨진 상태(hidden state)를 해석 가능한 시각 및 텍스트 개념으로 매핑하여 훈련 과정에서 각 모달리티의 인코딩된 개념 변화를 추적했습니다. 이는 마치 모델의 '생각' 과정을 들여다보는 것과 같습니다.
핵심은 바로 '이동 벡터(shift vectors)' 입니다. 연구진은 이 벡터를 사용하여 미세 조정 과정에서 발생한 개념 변화를 포착하고, 원래 모델의 개념을 이동시켜 미세 조정된 개념을 복원하는 데 성공했습니다. 이는 마치 모델의 '기억'을 재구성하는 것과 같습니다. 단순히 결과만 보는 것이 아니라, 변화 과정 자체를 분석하여 모델의 작동 원리를 밝혀낸 셈입니다.
더욱 놀라운 것은 이러한 발견이 모델 조정(model steering) 에 실질적인 영향을 미친다는 점입니다. 연구진은 훈련 없이도 답변 유형, 캡션 스타일을 수정하거나 특정 응답에 대한 모델의 편향을 조정할 수 있음을 보여주었습니다. 이는 마치 모델의 '행동'을 제어하는 것과 같습니다.
이 연구는 멀티모달 표현이 미세 조정을 통해 어떻게 진화하는지에 대한 통찰력을 제공하며, 다중 모달 작업에서 모델 적응을 해석하는 새로운 관점을 제시합니다. 코드는 GitHub 에서 공개되어 있습니다. 이 연구는 다중 모드 거대 언어 모델의 이해와 활용에 새로운 지평을 열 것으로 기대됩니다. 향후 AI 모델의 해석성과 제어 가능성을 높이는 데 크게 기여할 것으로 예상됩니다.
Reference
[arxiv] Analyzing Fine-tuning Representation Shift for Multimodal LLMs Steering alignment
Published: (Updated: )
Author: Pegah Khayatan, Mustafa Shukor, Jayneel Parekh, Matthieu Cord
http://arxiv.org/abs/2501.03012v1