거대 언어 모델의 능력, 이제 학습 전에 예측한다!

중국 연구진이 거대 언어 모델의 능력을 학습 전에 예측하는 새로운 방법을 제시했습니다. 폐쇄형 질의응답 과제에 집중하여, 사전 학습 데이터와 모델 크기, 과제별 지식 유지 간의 관계를 정량화하는 SMI 지표를 개발했습니다. 실험 결과, SMI 지표와 CBQA 과제 정확도 간에 강한 상관관계가 확인되었으며, 관련 데이터, 모델, 코드는 공개되었습니다.

거대 언어 모델의 능력 예측: 학습 전에 미래를 내다보다

OpenAI의 GPT-4 기술 보고서에서 언급된 바와 같이, 특정 과제에 대한 모델 성능은 학습 이전에 예측할 수 있다는 가능성이 제기되었습니다. 하지만 그 방법론은 아직 명확히 제시되지 않았습니다. 자원의 효율적인 배분과 목표 과제에 맞는 데이터 정렬을 위해서는 이러한 사전 예측이 필수적입니다.

중국 과학자 팀(Changhao Jiang 외 18명)은 이러한 문제에 대한 해결책으로, 폐쇄형 질의응답(Closed-book Question Answering, CBQA) 과제에 대한 모델 성능 예측에 집중했습니다. CBQA는 사전 학습 데이터와 지식 유지와 밀접한 관련이 있기 때문입니다.

연구팀은 세 가지 주요 과제에 도전했습니다. 첫째, 특히 데이터 구성 단계를 포함한 전체 사전 학습 과정을 마스터하는 것, 둘째, 모델의 지식 유지를 평가하는 것, 그리고 셋째, 학습 이전에 얻을 수 있는 정보만을 사용하여 과제별 지식 유지를 예측하는 것입니다. 이를 위해 1.6B, 7B, 13B 세 가지 거대 언어 모델을 사전 학습시켰으며, 이 과정에는 56만 달러와 52만 GPU 시간이 투입되었습니다.

연구팀은 지식 트리플을 사용하여 사전 학습 데이터를 분석하고, 기존 방법을 사용하여 지식 유지를 평가했습니다. 더 나아가, 사전 학습 데이터, 모델 크기, 그리고 과제별 지식 유지 간의 관계를 정량적으로 측정하는 새로운 정보 이론적 지표인 SMI(아직 정확한 의미는 설명되지 않음)를 도입했습니다.

실험 결과는 놀라웠습니다. 다양한 크기의 모델들(1.1B, 1.6B, 7B, 13B)에 걸쳐 SMI 지표와 CBQA 과제 정확도 사이에 강력한 선형 상관관계 ($R^2 > 0.84$)가 발견되었습니다. 이는 SMI 지표가 CBQA 과제에서 모델 성능을 효과적으로 예측할 수 있음을 보여줍니다.

더욱 고무적인 사실은 연구팀이 사용한 데이터셋, 모델, 코드를 모두 https://github.com/yuhui1038/SMI 에서 공개했다는 점입니다. 이는 AI 연구 발전에 크게 기여할 것으로 기대됩니다. 이 연구는 거대 언어 모델의 잠재력을 더욱 효과적으로 활용하는 데 중요한 이정표를 제시합니다. 학습 전에 성능을 예측함으로써, 우리는 AI 개발의 효율성을 획기적으로 높이고, 더욱 정교하고 유용한 AI 시스템을 구축할 수 있게 될 것입니다.