믿을 수 있는 AI 설명: 크기가 중요하고, 지시 조정은 절충을 가능하게 하지만 최적의 성능을 보장하진 않는다

대규모 언어 모델의 설명 신뢰도에 대한 연구 결과, 모델 크기와 지시 조정의 영향을 분석하고, 크기가 중요하지만 지시 조정이 근본적인 개선을 가져오지는 않음을 밝힘.

최근 급속도로 발전하는 대규모 언어 모델(LLM)의 안전성과 감독을 위해서는 모델이 스스로 생성하는 설명이 내부 의사결정 과정에 얼마나 충실한지 확인하는 것이 매우 중요합니다. Noah Y. Siegel 등 연구진은 8개 계열의 62개 모델을 대상으로 광범위한 반사실적 충실도 분석을 수행하여 이 문제에 대한 심층적인 연구 결과를 발표했습니다. 이 연구는 사전 훈련된 모델과 지시 조정된 모델 모두를 포함하며, 기존의 반사실적 검증 연구를 크게 확장한 것입니다.

연구진은 토큰 확률을 필요로 하지 않으면서 원래 검증의 대부분의 분산을 설명하는, Correlational Counterfactual Test(CCT)의 단순화된 변형인 phi-CCT를 도입했습니다. 분석 결과, 모델의 크기가 클수록 측정 지표에서 더욱 충실한 설명을 생성하는 경향이 있음을 명확하게 보여주었습니다. 이는 곧 모델의 크기가 설명의 신뢰도에 큰 영향을 미친다는 것을 의미합니다.

하지만 지시 조정된 설명과 사람이 모방한 설명을 비교 분석한 결과, 충실도의 차이는 설명의 상세함(verbosity)에 기인하는 경우가 많다는 사실을 발견했습니다. 이는 참 양성/거짓 양성 파레토 경계선을 따라 변화를 일으킵니다. 지시 조정과 프롬프트 엔지니어링은 이러한 절충에 영향을 줄 수 있지만, 비슷한 크기의 사전 훈련된 모델을 뛰어넘는 설명 충실도의 경계를 근본적으로 확장한다는 증거는 제한적이었습니다.

결론적으로, 이 연구는 지시 조정, 설명의 상세함, 그리고 모델 의사결정 과정의 충실한 표현 사이의 미묘한 관계를 강조합니다. LLM의 설명 신뢰도를 높이기 위한 향후 연구는 모델 크기의 확장과 더불어, 설명의 상세함과 충실도 사이의 최적의 균형점을 찾는 데 초점을 맞춰야 할 것입니다. 단순히 모델을 크게 만드는 것만으로는 충분하지 않다는 점을 시사하는 중요한 연구 결과입니다. 앞으로 더욱 정교한 방법론과 엄격한 평가 기준을 통해 LLM의 설명 신뢰도 향상에 대한 지속적인 연구가 필요합니다.