거대 언어 모델 추론 성능의 혁신: 새로운 '트릭 백'의 등장

본 기사는 홍콩과기대 연구진의 LLM 추론 성능 향상 연구를 소개합니다. 기존 추론 방법의 한계를 극복하고, 다양한 실험을 통해 효과적인 전략들을 제시하며, 표준화된 벤치마크를 제공하여 향후 연구 발전에 기여하는 내용을 담고 있습니다.

최근 거대 언어 모델(LLM)의 발전으로 복잡한 추론 과제 해결에 대한 관심이 높아지고 있습니다. 모델 매개변수 변경이나 추가 학습 없이 추론 성능을 향상시키는 추론 시간 계산 방법(예: Best-of-N, beam search 등)이 특히 주목받고 있습니다. 하지만 이러한 방법들은 구현상의 어려움과 계산 복잡성, 작업에 따른 효과의 차이 등으로 인해 실제 적용이 제한적이었습니다.

홍콩과기대(HKUST)의 Liu Fan 등 연구진은 최근 논문 "Bag of Tricks for Inference-time Computation of LLM Reasoning"에서 이러한 문제를 해결하기 위한 획기적인 연구 결과를 발표했습니다. 연구진은 다양한 복잡성의 추론 작업 전반에 걸쳐 다양한 추론 시간 계산 전략을 조사하고 벤치마크했습니다.

연구의 핵심은 기존의 '제안자-검증자(proposer-verifier)' 파이프라인을 개선하는 데 있습니다. 이 파이프라인은 먼저 후보 솔루션(예: 추론 솔루션)을 생성한 다음 보상 신호(예: RLHF 보상, 프로세스 보상)를 기반으로 최상의 솔루션을 선택합니다. 연구진은 후보 솔루션 생성(예: 프롬프트 지시, 온도 및 top-p와 같은 하이퍼파라미터)과 보상 메커니즘(예: 자체 평가, 보상 유형) 모두를 최적화하는 데 집중했습니다.

Llama, Qwen, Mistral 계열 등 다양한 크기의 모델을 대상으로 20,000시간 이상의 A100-80G GPU 시간을 투입하여 1,000건이 넘는 실험을 진행한 결과, 기존에 간과되었던 전략들이 성능을 크게 향상시킬 수 있다는 것을 발견했습니다. (예: 온도 조정을 통해 추론 작업 성능을 최대 5%까지 향상). 또한, 8가지 추론 작업에 걸쳐 6가지 대표적인 방법을 체계적으로 평가하여 추론 시간 계산에 대한 표준화된 벤치마크를 구축했습니다.

이 연구는 추론 시간 계산에 대한 기존의 어려움을 극복하고, 실질적인 성능 향상을 이끌어낸 중요한 성과입니다. 더 나아가, 제공된 표준화된 벤치마크는 향후 연구의 발전에 중요한 기반이 될 것으로 예상됩니다. 자세한 내용은 연구팀의 GitHub 저장소 (https://github.com/usail-hkust/benchmark_inference_time_computation_LL)에서 확인할 수 있습니다.