혁신적인 LLM 에이전트 튜닝: 전문가의 실패에서 배우다

LLM 에이전트 튜닝에 있어 기존의 성공 사례 학습 방식을 뛰어넘어, 전문가의 실패 경험을 활용하는 EEF 기법이 제시되었습니다. WebShop 과제에서 62%의 승률을 기록하며 새로운 state-of-the-art를 달성, LLM 에이전트의 성능 향상에 획기적인 전기를 마련했습니다.

최근 대규모 언어 모델(LLM)이 여러 단계의 추론과 상호 작용을 필요로 하는 작업에서 뛰어난 성능을 보여주면서 주목받고 있습니다. 특히, 에이전트로서의 LLM 활용에 대한 관심이 높아지고 있는데, 이러한 에이전트를 효과적으로 튜닝하는 방법으로 Rejection Sampling Fine-Tuning (RFT)가 주목받고 있습니다. RFT는 전문가가 생성한 성공적인 경로를 모방하여 학습을 시작하고, 이후 자체적으로 생성한 성공적인 경로를 통해 반복적인 미세 조정을 수행하는 방식입니다.

하지만, Lan 등의 연구진이 발표한 논문 "Exploring Expert Failures Improves LLM Agent Tuning"에 따르면, RFT는 전문가(예: GPT-4)가 주로 간단한 하위 작업에서 성공하기 때문에 복잡한 하위 작업은 여전히 해결되지 않고 OOD(Out-of-Distribution) 상태로 남아있다는 한계가 있습니다. 연구진은 이러한 어려운 하위 작업들을 조사하던 중, 놀라운 사실을 발견했습니다. 바로, 전문가의 실패 경로에서도 에이전트의 탐색 효율과 중요 기술 습득에 도움이 되는 귀중한 지침(계획 및 주요 행동)을 얻을 수 있다는 점입니다.

이러한 발견을 바탕으로 연구진은 EEF(Exploring Expert Failures) 라는 새로운 방법을 제안했습니다. EEF는 전문가의 실패 경로에서 유익한 행동을 식별하고 이를 훈련 데이터 세트에 통합하는 방법입니다. 모델 학습 과정에 오염을 방지하기 위해 잠재적으로 해로운 행동은 철저히 제외됩니다. 전문가 실패에서 얻은 유익한 행동을 활용함으로써 EEF는 이전에는 해결할 수 없었던 하위 작업들을 성공적으로 해결하고 에이전트 튜닝 성능을 향상시켰습니다.

그 결과는 놀랍습니다. WebShop 과제에서 EEF는 62%의 승률을 달성, RFT(53.6%)와 GPT-4(35.6%)를 능가하는 성과를 거두었습니다. 이는 WebShop에서 0.81점을 넘고 SciWorld에서 81점을 넘는 최초의 방법으로, 새로운 state-of-the-art를 달성한 것입니다. 이는 단순히 성공 사례만을 학습하는 것보다 전문가의 실패에서 배우는 것이 LLM 에이전트의 성능 향상에 얼마나 중요한지를 보여주는 획기적인 결과입니다. EEF는 LLM 에이전트 개발의 새로운 가능성을 제시하며, 앞으로 더욱 발전된 AI 에이전트의 등장을 예고하고 있습니다.