흥미로운 발견! 언어 모델의 사전 훈련 데이터 빈도와 선형 표현의 관계

본 연구는 언어 모델의 사전 훈련 데이터 빈도와 선형 표현의 강력한 상관관계를 밝히고, 폐쇄형 모델의 사전 훈련 데이터 특성을 예측하는 새로운 방법을 제시합니다. 이는 언어 모델의 행동을 제어하고 개선하는 데 중요한 의미를 지닙니다.

최근, Jack Merullo, Noah A. Smith, Sarah Wiegreffe, Yanai Elazar가 참여한 연구에서 언어 모델(LMs)의 사전 훈련 데이터와 모델의 내부 표현 방식 간의 놀라운 관계가 밝혀졌습니다. 연구 제목은 "On Linear Representations and Pretraining Data Frequency in Language Models" 입니다. 이 연구는 사전 훈련 데이터가 언어 모델의 행동과 질에 직접적인 영향을 미친다는 점을 중점적으로 다룹니다. 기존 연구들이 주로 사전 훈련 데이터가 최종 과제 수행 능력에 미치는 영향에 초점을 맞춘 것과 달리, 이 연구는 사전 훈련 데이터가 언어 모델의 내부 표현, 특히 선형 표현에 어떤 영향을 미치는지 탐구합니다.

연구팀은 특히 주어-관계-목적어로 이루어진 사실적 관계의 선형 표현 형성에 주목했습니다. 그 결과, 사전 훈련 데이터에서 용어의 빈도와 선형 표현의 강도 사이에 강한 상관관계가 존재함을 발견했습니다. 구체적으로, 주어와 목적어의 공동 출현 빈도가 높을수록, 그리고 관계에 대한 문맥 내 학습 정확도가 높을수록 선형 표현이 더 강하게 형성되는 경향을 보였습니다. 흥미롭게도 이러한 경향은 사전 훈련의 모든 단계에서 일관되게 나타났습니다.

OLMo-7B와 GPT-J 모델을 분석한 결과, 관계 내 주어와 목적어가 각각 최소 1,000회와 2,000회 이상 공동 출현할 때 선형 표현이 일관되게 (하지만 배타적으로는 아닌) 형성되는 것을 확인했습니다. 이러한 공동 출현 횟수는 사전 훈련 과정 중 언제 발생하느냐와 상관없이 중요한 요소였습니다.

더 나아가, 연구팀은 완전히 훈련된 언어 모델에서 선형 표현의 질을 측정한 데이터를 사용하여 회귀 모델을 훈련시켰습니다. 놀랍게도, 이 모델은 사전 훈련 데이터에서 용어가 얼마나 자주 등장했는지를 정확하게 예측할 수 있었습니다. 심지어 다른 모델과 다른 사전 훈련 데이터 세트를 사용한 경우에도 낮은 오차율을 보였습니다. 이는 폐쇄형 모델(사전 훈련 데이터에 대한 정보가 공개되지 않은 모델)의 사전 훈련 데이터 특성을 추정하는 새로운 방법을 제시하는 것입니다.

결론적으로, 이 연구는 언어 모델의 선형 표현의 강도가 모델의 사전 훈련 데이터에 대한 중요한 정보를 담고 있음을 시사합니다. 이는 모델의 행동을 제어하고 개선하는 새로운 방법, 특히 특정 빈도 임계값을 충족하도록 모델의 훈련 데이터를 조작하는 방법을 모색할 수 있는 가능성을 열어줍니다. 이는 향후 언어 모델 개발에 중요한 지침을 제공할 것으로 기대됩니다.