컨텍스트 학습 vs. 파인튜닝: 대규모 언어 모델의 일반화 능력 향상을 위한 새로운 돌파구

대규모 언어 모델의 파인튜닝과 컨텍스트 학습의 일반화 능력 비교 연구 결과, 컨텍스트 학습의 우수성과 파인튜닝 개선 방법을 제시했습니다. 파인튜닝 데이터에 컨텍스트 추론을 추가하여 일반화 성능을 향상시키는 새로운 방법이 제시되었으며, 이는 LLM의 발전에 크게 기여할 것으로 예상됩니다.

컨텍스트 학습 vs. 파인튜닝: 대규모 언어 모델의 일반화 능력 향상을 위한 새로운 돌파구

최근 괄목할 만한 성능을 보이는 대규모 언어 모델(LLM)이지만, 파인튜닝을 통한 학습에서는 놀랍도록 좁은 일반화 능력을 보이는 경우가 있습니다. 예를 들어, 훈련된 정보를 바탕으로 관계의 간단한 반전이나 논리적 추론을 수행하는 데 실패하는 경우가 종종 발생합니다. 이러한 일반화 실패는 LLM의 실질적인 응용에 큰 걸림돌이 되고 있습니다.

반면, 컨텍스트 학습(In-context learning) 은 다른 귀납적 편향을 보이며, 어떤 경우에는 파인튜닝보다 더 나은 일반화 능력을 보여줍니다. Andrew K. Lampinen 등 10명의 연구진은 이 두 가지 학습 방식의 일반화 능력 차이를 탐구하는 연구를 진행했습니다.

연구진은 모델의 일반화 능력을 명확하게 평가하기 위해 새로운 데이터셋을 여러 개 제작했습니다. 이 데이터셋들은 사전 학습 데이터와의 지식 중복을 최소화하여, 모델의 순수한 일반화 능력을 평가할 수 있도록 설계되었습니다. 사전 훈련된 대규모 모델에 이 데이터셋의 제한된 정보를 컨텍스트 학습 또는 파인튜닝 방식으로 제공하고, 다양한 유형의 일반화를 요구하는 테스트셋에서 성능을 평가했습니다.

그 결과, 데이터 매칭 환경에서는 컨텍스트 학습이 파인튜닝보다 더 유연한 일반화 능력을 보이는 것으로 나타났습니다. 하지만 연구진은 기존 연구 결과에 대한 일부 수정도 제시했습니다. 예를 들어, 더 큰 지식 구조에 관계의 반전이 포함된 경우 파인튜닝이 더 나은 일반화 능력을 보일 수 있다는 점을 발견했습니다.

연구진은 이러한 발견을 바탕으로 파인튜닝을 통한 일반화 능력을 향상시키는 새로운 방법을 제안했습니다. 바로 파인튜닝 데이터에 컨텍스트 추론을 추가하는 것입니다. 실험 결과, 이 방법은 다양한 데이터 분할과 다른 벤치마크에서 일반화 능력을 향상시켰습니다.

이 연구는 대규모 언어 모델에서 서로 다른 학습 방식의 귀납적 편향에 대한 이해를 높이고, 실제 성능 향상에도 기여할 수 있는 중요한 의미를 지닙니다. LLM의 일반화 능력 향상이라는 숙제를 해결하는 데 한 걸음 더 다가선 셈입니다. 앞으로 이 연구 결과를 바탕으로 더욱 발전된 LLM이 개발될 것으로 기대됩니다.