숨겨진 지혜, 약한 AI가 강한 AI를 돕는다: 혼합 의견을 통한 수학적 추론 향상

소규모 오픈 LLM의 수학적 추론 능력 향상을 위해, 약한 LLM들의 의견을 종합하는 '혼합 의견(MoO)' 방법이 제시되었습니다. 기존 방법 대비 평균 5% 향상된 성능을 보이며, 다양한 관점의 중요성을 강조했습니다.

최근 대규모 언어 모델(LLM)의 발전으로 수학적 추론 능력에 대한 관심이 높아졌습니다. GPT-4와 같은 성능 좋은 폐쇄형 LLM들이 수학 벤치마크(GSM8K 등)에서 좋은 결과를 보여주고 있지만, 소규모 오픈 LLM들이 동일한 성능을 달성할 수 있는지는 여전히 불확실하며, 신뢰성에 대한 의문도 제기되고 있습니다.

Chen, Pesaranghader, Sadhu 세 연구원은 이러한 한계를 극복하기 위해 **'혼합 의견(MoO)'**이라는 새로운 접근법을 제시했습니다. 이는 상대적으로 강력한 LLM의 추론 능력을 향상시키기 위해, 더 약한 보조 LLM들의 다양한 의견을 활용하는 후훈련(post-training) 방식입니다.

핵심은 각 후훈련 샘플에 보조 LLM들의 사고 과정(Chain-of-Thought, CoT)과 답변을 추가하여 주요 LLM이 다양한 관점에서 학습하도록 하는 것입니다. 이는 마치 여러 전문가의 의견을 종합하여 더 정확한 결론을 도출하는 것과 유사합니다. 연구팀은 수학적 추론 벤치마크에서 MoO를 기존의 지도 학습 미세 조정(SFT), 퓨샷 프롬프팅, 혼합 에이전트(MoA) 방법과 비교했습니다.

결과는 놀라웠습니다. MoO는 기존 방법들에 비해 수학적 추론 능력을 평균 5% 향상시켰습니다. 이는 약한 LLM들의 의견이 생각보다 중요한 역할을 하며, 추론 과제에서 다양한 관점의 가치를 보여주는 결과입니다. 단순히 최고 성능의 LLM만을 고집하기 보다는, 다양한 LLM들의 의견을 종합적으로 활용하는 전략이 향후 AI 개발에 중요한 시사점을 제공한다는 것을 시사합니다. 앞으로 더욱 다양한 분야에서 이러한 '혼합 의견' 전략의 효과를 확인해볼 수 있을 것입니다.