트랜스포머 vs. 상태 공간 모델: 언어 모델링의 미래를 위한 메커니즘적 통찰

본 연구는 트랜스포머와 상태 공간 모델의 메커니즘적 차이를 규명하여, 언어 모델링에서의 효율성과 성능 향상을 위한 새로운 방향을 제시합니다. 연관 기억 및 연관 트리콜 과제를 통해 트랜스포머의 우수성을 확인하고, 인과적 개입을 통해 그 메커니즘을 분석했습니다.

최근 급속한 발전을 거듭하는 AI 분야에서, 언어 모델링은 특히 주목받는 영역입니다. 그 중심에는 트랜스포머(Transformer) 아키텍처가 자리 잡고 있지만, 효율성과 성능 개선을 위한 새로운 접근 방식으로 '상태 공간 모델(State Space Models, SSMs)'이 떠오르고 있습니다. 그러나 SSMs는 기본적인 정보를 문맥에서 기억하는 능력에서 트랜스포머에 비해 일관되지 않은 성능을 보여왔습니다.

Aryaman Arora, Neil Rathi, Nikil Roashan Selvam, Róbert Csórdas, Dan Jurafsky, Christopher Potts 등 연구진은 이러한 차이점의 근본적인 원인을 규명하기 위해, 심층적인 메커니즘적 평가를 수행했습니다. 연구진은 연관 기억(Associative Recall, AR) 과제를 통해 다양한 아키텍처의 성능을 비교 분석했습니다. 그 결과, 놀랍게도 트랜스포머와 특정 SSM 모델(Mamba)만이 AR 과제에서 완벽한 성공을 거둔 반면, 다른 SSM 모델(H3, Hyena)은 실패했습니다. Mamba 모델의 경우, 짧은 합성곱(convolution) 요소가 성공에 기여한 것으로 나타났습니다.

하지만 왜 이러한 차이가 발생하는 걸까요? 연구진은 인과적 개입(causal intervention) 기법을 통해 그 이유를 밝혀냈습니다. 트랜스포머는 '유도 헤드(induction heads)'를 사용하여 문맥 내에서 키-값 연관성을 학습하는 반면, 다른 SSM들은 마지막 상태에서만 이러한 연관성을 계산하는 것으로 드러났습니다. 이는 트랜스포머가 정보를 보다 효율적이고 효과적으로 처리할 수 있음을 시사합니다.

더 나아가 연구진은 연관 트리콜(Associative Treecall, ATR) 이라는 새로운 합성 과제를 도입했습니다. ATR은 AR 과제에 계층적 구조를 추가하여 언어의 계층적 특성을 반영했습니다. 흥미롭게도 모든 아키텍처는 AR 과제와 동일한 메커니즘을 학습했고, 결과적으로 트랜스포머와 Mamba 모델이 성공했습니다.

이 연구는 정확도가 유사하더라도 아키텍처 간에 상당한 차이가 있을 수 있음을 보여줍니다. 따라서 단순한 성능 비교를 넘어, 메커니즘적 평가의 중요성을 강조하며 언어 모델링 연구의 새로운 방향을 제시합니다. 단순히 성능 지표만으로는 알 수 없는 아키텍처 내부의 작동 원리를 이해하는 것이, 더욱 강력하고 효율적인 언어 모델 개발에 필수적임을 보여주는 중요한 연구 결과입니다. 향후 연구에서는 이러한 메커니즘적 이해를 바탕으로, 보다 개선된 언어 모델 아키텍처를 설계하고 개발하는데 집중할 필요가 있습니다.