거대 언어 모델의 계획 능력: 완벽보다는 진보를 향한 여정
Sukai Huang, Trevor Cohn, Nir Lipovetzky의 연구는 LLM의 계획 능력에 대한 재평가를 통해 단순한 데이터셋 증가만으로는 충분하지 않으며, 실행 가능성과 유효성 모두를 고려한 새로운 전략이 필요함을 강조합니다. 'Longest Contiguous Common Subsequence' 보상 함수를 사용한 강화 학습이 가장 효과적인 전략으로 제시되었습니다.

거대 언어 모델(LLM)의 계획 능력: 완벽보다는 진보를 향한 여정
최근 거대 언어 모델(LLM)의 놀라운 발전에도 불구하고, 계획 능력은 여전히 논쟁의 중심에 있습니다. 일각에서는 LLM의 추론 능력 향상 전략이 계획 과제에는 효과적이지 않다고 주장하는 반면, 다른 쪽에서는 단순히 계획 데이터셋으로 모델을 훈련시키는 것만으로도 훌륭한 결과를 얻을 수 있다고 보고합니다. Sukai Huang, Trevor Cohn, Nir Lipovetzky 등의 연구는 이러한 상반된 주장들을 면밀히 재검토하여 LLM 계획 능력의 현실적인 수준을 밝히고 있습니다.
연구팀은 종단 간 LLM 플래너를 개발하고 다양한 지표를 사용하여 엄격한 평가를 수행했습니다. 그 결과, 놀랍게도 단순히 계획 데이터셋으로 LLM을 미세 조정하는 것만으로는 견고한 계획 능력을 얻을 수 없다는 사실을 발견했습니다. 특히 분포 외(out-of-distribution) 테스트 세트에서는 성능이 현저히 저하되었습니다. 이는 단순한 데이터 양 증가만으로는 LLM의 진정한 계획 능력을 향상시킬 수 없음을 시사합니다.
하지만 희망적인 소식도 있습니다. Chain-of-Thought와 같은 다양한 전략들은 계획의 실행 가능성을 높이는 데 기여했습니다. 즉, 계획의 최종 유효성 비율을 직접적으로 높이지는 못했지만, 계획의 질을 향상시키는 데는 도움이 된 것입니다. 이는 LLM의 계획 능력 향상이라는 목표를 향해 점진적인 진보를 이루고 있음을 보여줍니다.
연구팀이 평가한 전략 중 가장 효과적인 것은 새로운 'Longest Contiguous Common Subsequence' 보상 함수를 사용한 강화 학습이었습니다. 이 전략은 계획의 유효성과 실행 가능성 모두를 향상시키는 데 기여했습니다. 이는 LLM 계획 분야에서 단순히 유효성에만 집중할 것이 아니라, 실행 가능성이라는 또 다른 중요한 측면을 고려해야 함을 시사합니다.
결론적으로, 이 연구는 LLM 계획 분야의 몇 가지 오해를 해소하고, 계획의 실행 가능성에 대한 점진적인 발전을 확인했습니다. 하지만 계획의 유효성은 여전히 해결해야 할 중요한 과제로 남아 있습니다. 따라서 미래의 전략은 이 두 가지 측면 모두에 초점을 맞춰야 하며, 본 연구의 결과를 토대로 더욱 발전된 전략을 모색해야 할 것입니다. LLM의 완벽한 계획 능력을 기대하기보다는, 지속적인 진보를 통해 실용적인 수준의 계획 능력을 확보하는 데 집중해야 할 것입니다. 이는 마치 인공지능이라는 정상을 향한 등반과 같습니다. 완벽한 정상 정복보다는 꾸준한 발걸음으로 한 걸음씩 더 높은 곳을 향해 나아가는 과정이 중요한 것입니다.
Reference
[arxiv] Chasing Progress, Not Perfection: Revisiting Strategies for End-to-End LLM Plan Generation
Published: (Updated: )
Author: Sukai Huang, Trevor Cohn, Nir Lipovetzky
http://arxiv.org/abs/2412.10675v1