단일 모델이 다중 턴 대화와 툴 사용을 모두 마스터하다: CoALM의 등장

본 연구는 단일 모델로 다중 턴 대화와 툴 사용을 모두 효과적으로 처리하는 CoALM을 제시합니다. 기존 모델들의 한계를 극복하고, CoALM-IT 데이터셋을 통해 훈련된 CoALM은 다양한 벤치마크에서 최고 성능을 달성하여 대화형 에이전트의 새로운 표준을 제시합니다.

혁신적인 대화형 에이전트, CoALM: 하나의 모델로 두 마리 토끼를 잡다!

최근 API 호출 기능을 갖춘 거대 언어 모델(LLM)이 등장하면서 효과적인 언어 에이전트(LA) 구축과 기존 작업 지향형 대화(TOD) 패러다임에 혁명을 일으켰습니다. 하지만 기존 접근 방식에는 치명적인 문제점이 있었습니다. TOD 시스템은 제한된 API 세트에 대해 훈련되기 때문에 새로운 서비스와 연동 시 품질 유지를 위해 새로운 데이터가 필요하고, LA는 다중 턴 대화에서 사용자 의도를 유지하도록 훈련되지 않았다는 점입니다.

강력한 다중 턴 관리와 고급 기능 호출은 효과적인 대화형 에이전트에 필수적입니다. Emre Can Acikgoz를 비롯한 연구진은 MultiWOZ 2.4 (TOD), BFCL V3 (LA), API-Bank (LA) 세 가지 벤치마크를 통해 이러한 기술을 평가했습니다. 분석 결과, 특정 접근 방식은 한 영역에서는 뛰어난 성능을 보였지만 다른 영역에서는 성능이 저하되는 것을 확인했습니다.

이러한 한계를 극복하기 위해 연구진은 대화형 및 에이전트 기능을 통합한 통합 접근 방식인 CoALM(Conversational Agentic Language Model)을 도입했습니다. CoALM-IT라는 정교하게 구성된 다중 작업 데이터셋을 만들어 다중 턴 ReAct 추론과 복잡한 API 사용을 혼합하여 학습시켰습니다. CoALM-IT를 사용하여 CoALM 8B, CoALM 70B, CoALM 405B 세 가지 모델을 훈련한 결과, GPT-4o를 포함한 최고의 도메인 특화 모델들을 세 가지 벤치마크에서 모두 능가하는 성능을 달성했습니다.

이 연구는 단일 모델 접근 방식으로 TOD와 LA 모두를 효과적으로 처리할 수 있음을 보여주는 획기적인 결과이며, 대화형 에이전트의 새로운 표준을 제시합니다. 이는 단일 모델로 다중 턴 대화의 맥락을 유지하면서 동시에 다양한 외부 도구 및 서비스를 활용할 수 있다는 것을 의미하며, 향후 더욱 지능적이고 유연한 대화형 AI 시스템 개발에 중요한 이정표가 될 것입니다. 앞으로 CoALM과 같은 통합 모델의 발전이 어떻게 AI 기술 발전에 기여할지 기대됩니다.