야생의 LLM 불확실성 추정: 현실 세계 적용의 과제와 극복 방안

본 연구는 실제 환경에서 LLM의 불확실성 추정 방법의 어려움을 다루며, 임계값 민감도, 쿼리 변형에 대한 강건성, 장문 생성 적용성, 다중 UE 점수 처리 등 네 가지 핵심 과제를 제시합니다. 19가지 방법에 대한 실험 결과를 통해 앙상블 기법의 효용성을 강조하며, 실제 배포를 위한 개선 방향을 제시합니다.

최근 몇 년간, 대규모 언어 모델(LLM)의 환각(hallucination) 문제를 감지하기 위한 핵심 도구로 불확실성 추정(UE) 방법이 떠올랐습니다. 수많은 UE 방법이 제안되었지만, 기존 연구는 대부분 짧은 형식의 질의응답(QA) 설정에서 AUROC 또는 PRR과 같은 임계값에 의존적이지 않은 지표를 사용하여 평가되었습니다. 하지만, 실제 세계에서 UE 방법을 배포하는 것은 여러 가지 어려움을 안고 있습니다.

Yavuz Bakman 등 연구진이 발표한 논문 "Reconsidering LLM Uncertainty Estimation Methods in the Wild"는 이러한 현실적인 문제점에 초점을 맞춰, 실제 환경에서 UE 방법을 배포할 때 발생하는 네 가지 핵심적인 과제를 체계적으로 조사했습니다. 구체적으로, 연구진은 다음 네 가지 측면을 평가했습니다.

1. 임계값 선택에 대한 UE 방법의 민감도: 실제 데이터셋의 분포 변화에 따른 임계값 선택의 영향을 분석했습니다. 결과적으로 대부분의 UE 방법은 임계값 선택에 매우 민감한 것으로 나타났습니다.
2. 쿼리 변형에 대한 강건성: 오타, 적대적 프롬프트, 이전 채팅 기록 등 쿼리 변형에 대한 UE 방법의 강건성을 평가했습니다. 오타나 이전 채팅 기록에는 상대적으로 강건했지만, 적대적 프롬프트에는 매우 취약한 것으로 나타났습니다.
3. 장문 생성에 대한 적용성: 다양한 전략을 통해 기존 UE 방법을 장문 생성에 적용할 수 있지만, 여전히 상당한 개선의 여지가 있음을 보여주었습니다.
4. 단일 쿼리에 대한 다중 UE 점수 처리: 단일 쿼리에 대한 여러 UE 점수를 처리하는 전략을 평가했습니다. 테스트 시점에서 여러 UE 점수를 앙상블하는 것이 성능을 상당히 향상시키는 것으로 나타나, 실용적인 개선 전략으로서의 가능성을 확인했습니다.

이 연구는 19가지 UE 방법을 평가하여 실제 환경에서의 적용에 대한 어려움과 개선 가능성을 보여주었습니다. 특히, 앙상블 기법을 통해 성능 향상을 이끌어낼 수 있다는 점은 실무적인 측면에서 매우 중요한 시사점입니다. 연구진은 관련 코드를 깃허브(https://github.com/duygunuryldz/uncertainty_in_the_wild)에 공개하여, 다른 연구자들의 활용을 지원하고 있습니다. 이 연구는 LLM의 실제 세계 적용을 위한 중요한 발걸음이며, 앞으로 더욱 정교하고 현실적인 UE 방법의 개발을 위한 초석을 마련할 것으로 기대됩니다.