팡구IR(PanguIR): LLM 평가의 새로운 지평을 열다!

본 기술 보고서는 LLM 평가의 새로운 지평을 연 PanguIR에 대해 다룹니다. 기존 방식의 한계를 극복하기 위해 다중 모델 협업, 프롬프트 자동 최적화, 상황 내 학습 최적화 등의 혁신적인 방법을 제시하여 AEOLLM 과제에서 우수한 성능을 달성했습니다.

최근 급부상하는 대규모 언어 모델(LLM)의 능력을 효과적으로 평가하는 것은 학계와 산업계 모두에게 중요하면서도 어려운 과제입니다. 기존의 수동 평가는 비용과 시간이 많이 들고, 자동 평가는 평가 기준의 한계로 인해 정확성이 떨어지는 문제점을 가지고 있었습니다.

이러한 문제를 해결하고자 NTCIR-18에서는 AEOLLM(자동 LLM 평가) 과제를 도입, 기존 접근 방식의 한계를 극복할 수 있는 참조 없는 평가 방법을 장려했습니다. Lang Mei, Chong Chen, Jiaxin Mao 등 연구진은 이 과제에 참여하여 팡구IR(PanguIR) 이라는 혁신적인 접근 방식을 제시했습니다.

팡구IR은 다음 세 가지 핵심 방법을 통해 AEOLLM 과제의 평가 성능을 향상시켰습니다.

1. 다중 모델 협업 (Multi-model Collaboration): 여러 LLM을 활용하여 다양한 하위 작업에서의 인간 평점을 근사치로 추정합니다. 이는 마치 여러 전문가의 의견을 종합하는 것과 같아 평가의 신뢰성을 높이는 효과가 있습니다.

2. 프롬프트 자동 최적화 (Prompt Auto-optimization): LLM 자체를 활용하여 초기 과제 프롬프트를 반복적으로 개선합니다. 이는 마치 LLM이 스스로 학습하며 더욱 정확한 질문을 만들어내는 과정과 같습니다. 훈련 샘플의 평가 피드백을 기반으로 최적의 질문을 찾아내는 능동적인 접근 방식입니다.

3. 상황 내 학습 (ICL) 최적화 (In-context Learning (ICL) Optimization): 다중 작업 평가 피드백을 기반으로 특수 상황 내 예시 검색 모델과 의미적 관련성 검색 모델을 결합하여 가장 효과적인 상황 내 학습 예시를 공동으로 식별합니다. 이는 마치 LLM에게 최적의 학습 환경을 제공하는 것과 같습니다.

최종 데이터 세트에서 수행된 실험 결과, 팡구IR 접근 방식은 AEOLLM 과제에서 우수한 성능을 달성했습니다. 이는 LLM 평가의 새로운 기준을 제시하는 중요한 성과로 평가됩니다. 향후 LLM 개발 및 평가 분야에 큰 영향을 미칠 것으로 예상됩니다. 더욱 정교하고 효율적인 LLM 평가 시스템의 구축을 위한 중요한 발걸음이라 할 수 있습니다.