협업을 통한 LLM 정렬: 혼합 에이전트 기반 제어된 디코딩

본 논문은 거대 언어 모델(LLM)의 안전하고 효율적인 정렬을 위한 새로운 혼합 에이전트 기반 제어된 디코딩 방법을 제시합니다. 기존 방식의 한계를 극복하여 성능을 크게 향상시켰으며, 다양한 작업에 대한 적응력을 높였습니다. 이는 LLM의 실제 응용 분야 확장에 중요한 기여를 할 것으로 예상됩니다.

소라딥 칵라보티 등 10명의 연구원이 발표한 논문 "Collab: Controlled Decoding using Mixture of Agents for LLM Alignment"은 거대 언어 모델(LLM)의 안전하고 신뢰할 수 있는 활용을 위한 획기적인 해결책을 제시합니다. LLM의 정렬(Alignment)은 인간의 선호도와 광범위한 유틸리티에 맞추는 필수적인 과정이며, 기존에는 강화 학습을 통해 수십억 개의 모델 파라미터를 업데이트하는 방식이 주로 사용되었습니다. 하지만 이는 막대한 계산 비용을 필요로 하는 어려움이 있습니다.

이 논문에서는 이러한 문제를 해결하기 위해 제어된 디코딩(Controlled Decoding) 방식을 채택합니다. 제어된 디코딩은 모델을 재훈련하지 않고 추론 단계에서 모델을 정렬하는 메커니즘입니다. 하지만 기존의 단일 에이전트 기반 디코딩은 작업의 복잡성과 다양성으로 인해 다양한 작업에 적응하는 데 어려움을 겪습니다.

연구팀은 이러한 한계를 극복하기 위해, 기존의 정렬된 LLM 정책들을 여러 에이전트로 간주하고 이들을 결합하는 혼합 에이전트 기반 디코딩 방법을 제안합니다. 각 에이전트(LLM)는 장기적인 유틸리티 지표를 기반으로 토큰 단위로 가장 적합한 LLM을 동적으로 선택하는 정책 전환 메커니즘을 사용합니다. 이는 각 단계에서 최적의 모델 선택을 보장하여 LLM 간의 효율적인 협업과 정렬을 가능하게 합니다.

제안된 알고리즘의 이론적 분석을 통해, 주어진 기존 모델에 대한 목표 보상으로 표현되는 목표 작업에 대한 최적 성능을 확립했습니다. 다양한 작업과 선호도에 대한 광범위한 실험적 평가를 통해 단일 에이전트 기반 디코딩 기준선보다 우수성을 입증했습니다. 특히, Collab은 기존 최첨단 디코딩 전략을 능가하여 평균 보상을 최대 1.56배, GPT-4 기반 승률을 71.89% 향상시켰습니다.

이 연구는 LLM 정렬 분야에 중요한 진전을 가져왔을 뿐만 아니라, 더욱 안전하고 효율적인 LLM 활용을 위한 새로운 가능성을 제시합니다. 향후 연구에서는 더욱 다양한 작업과 환경에서의 성능 평가 및 실제 응용 분야에 대한 적용 연구가 기대됩니다.