놀라운 발견! LLM 평가의 불확실성, 이제는 정복할 수 있다!

본 연구는 LLM 평가자의 안정성 문제에 초점을 맞춰, 9개의 LLM 평가자를 대상으로 한 실험을 통해 모델 기반 LLM 평가의 불확실성을 분석하고, 불확실성 완화 전략 및 불확실성 인식 LLM 평가자 ConfiLM 개발을 통해 OOD 시나리오에서 성능 향상을 이끌어냈습니다. LLM 평가의 신뢰성 향상에 기여하는 중요한 연구 결과입니다.

LLM 평가의 불확실성: 새로운 연구가 제시하는 해결책

최근 대규모 언어 모델(LLM)의 평가는 새로운 국면을 맞이했습니다. 바로 LLM-as-a-Judge, 즉 LLM 자체를 평가자로 활용하는 방식입니다. 하지만 이러한 방식에는 정렬(alignment), 편향(bias), 그리고 안정성(stability) 에 대한 우려가 존재합니다. 지금까지는 주로 정렬과 편향에 대한 연구가 집중되어 왔지만, Xie Qiujie 등 6명의 연구자는 LLM 평가자의 안정성에 주목했습니다.

그들의 연구, **"An Empirical Analysis of Uncertainty in Large Language Model Evaluations"**는 9개의 널리 사용되는 LLM 평가자를 2가지 평가 설정에서 실험하여, 모델 기반 LLM 평가의 불확실성을 심도 있게 분석했습니다. 그 결과, LLM 평가자의 불확실성은 모델의 종류와 크기에 따라 다르다는 것을 밝혀냈습니다.

흥미로운 점은, 특별한 프롬프팅 전략을 사용하여 평가의 불확실성을 어느 정도 완화할 수 있다는 점입니다. 이는 추론 단계 또는 사후 훈련 단계 모두에서 적용 가능합니다. 단순히 평가 결과만을 얻는 것이 아니라, 그 결과의 불확실성까지 고려해야 한다는 사실을 시사하는 중요한 발견입니다.

연구진은 한 걸음 더 나아가, 불확실성을 활용하여 LLM의 신뢰성과 Out-of-Distribution(OOD) 데이터 탐지 능력을 향상시키는 새로운 LLM 평가자, ConfiLM을 개발했습니다. 사람이 주석을 단 미세 조정 데이터 세트를 사용하여 ConfiLM을 미세 조정하고, 2024년 올림픽 데이터를 기반으로 제작한 테스트 세트를 통해 OOD 평가 능력을 평가했습니다. 그 결과, 미세 조정 단계에서 불확실성을 추가 정보로 활용하면 OOD 시나리오에서 모델의 평가 성능이 크게 향상됨을 확인했습니다.

이 연구는 LLM 평가의 불확실성을 깊이 있게 분석하고, 그 불확실성을 해결하기 위한 실질적인 방법을 제시함으로써 LLM의 신뢰성과 안정성 향상에 크게 기여할 것으로 기대됩니다. 연구 코드와 데이터는 GitHub에서 확인할 수 있습니다.

:warning: 주의: LLM 평가의 안정성 확보는 여전히 진행 중인 연구 분야이며, 이 연구 결과가 모든 상황에 적용될 수 있다고 단정 지을 수는 없습니다. 더욱 심도있는 연구와 검증이 필요합니다.