혁신적인 AI 학습법 등장: 초안 통합으로 거대 언어 모델의 한계 극복


중국과학원 연구진이 개발한 Aggregation Fine-Tuning(AFT)은 기존의 거대 언어 모델 학습 방식을 혁신적으로 개선한 기술입니다. 소량의 데이터로도 대규모 모델을 능가하는 성능을 달성하며, 추론 시간의 계산 자원을 유연하게 확장할 수 있는 효율성까지 갖추었습니다. AFT는 향후 AI 발전에 큰 영향을 미칠 것으로 기대됩니다.

related iamge

혁신적인 AI 학습법 등장: 초안 통합으로 거대 언어 모델의 한계 극복

최근 AI 분야에서 거대 언어 모델(LLM)의 성능 향상은 끊임없는 연구의 중심이 되고 있습니다. 데이터 및 모델 크기 확장이 효과적이라는 기존의 상식을 뛰어넘어, 중국과학원 연구진(Li Yafu, Wang Zhilin, Fu Tingchen, Cui Ganqu, Yang Sen, Cheng Yu)이 새로운 학습 패러다임을 제시했습니다. 바로 Aggregation Fine-Tuning (AFT) 입니다.

AFT: 여러 초안의 시너지 효과

AFT는 모델이 여러 개의 초안 답변(proposals)을 종합하여 하나의 정제된 답변(aggregation)으로 만들어내는 방식입니다. 기존의 지도 학습 방식인 SFT(Supervised Fine-Tuning)와 비교하여, AFT는 추론 과정에서 반복적으로 초안을 생성하고 통합하는 ‘제안 및 집계’ 전략을 통해 성능을 더욱 향상시킵니다. 마치 여러 전문가의 의견을 종합하여 최고의 결과를 도출하는 것과 같습니다.

놀라운 성능: 소규모 데이터로도 압도적인 결과

연구 결과는 놀랍습니다. Llama3.1-8B-Base 모델에 AFT를 적용하여 단 64,000개의 데이터만으로 학습시킨 결과, AlpacaEval 2 기준 41.3%의 승률을 달성했습니다. 이는 Llama3.1-405B-Instruct 및 GPT-4와 같은 훨씬 더 큰 모델들을 능가하는 성과입니다. 데이터 양과 모델 크기 증가에 의존하지 않고도 획기적인 성능 향상을 이룬 것입니다.

효율적인 추론: 유연한 확장성

AFT는 순차적 개선과 병렬 샘플링을 결합하여 추론 시간의 계산 자원을 유연하게 확장할 수 있습니다. 이는 AFT의 실용성을 더욱 높이는 요소입니다.

미래를 향한 전망: LLM의 잠재력을 깨우다

이번 연구는 LLM의 잠재력을 극대화하기 위한 새로운 가능성을 제시합니다. AFT는 데이터 양이나 모델 크기를 늘리지 않고도 성능을 향상시킬 수 있는 효율적인 방법으로, 향후 AI 발전에 큰 영향을 미칠 것으로 예상됩니다. 더욱 큰 모델을 만들기 위한 무한한 경쟁 대신, 기존 모델의 성능을 극대화하는 방법에 대한 새로운 패러다임을 제시한 것입니다. 앞으로 AFT의 발전과 응용에 귀추가 주목됩니다. 🎉


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] From Drafts to Answers: Unlocking LLM Potential via Aggregation Fine-Tuning

Published:  (Updated: )

Author: Yafu Li, Zhilin Wang, Tingchen Fu, Ganqu Cui, Sen Yang, Yu Cheng

http://arxiv.org/abs/2501.11877v1