LLM, 스스로를 반박할 수 있을까? 자기 생성 반실제적 설명의 한계

새로운 연구에 따르면, 대규모 언어 모델(LLM)은 자체적으로 반실제적 설명(Counterfactual Explanation)을 생성하는 데 어려움을 겪으며, 생성하더라도 예측과 일치하지 않는 경우가 많다는 사실이 밝혀졌습니다. 이는 LLM의 신뢰성과 설명 가능성에 대한 중요한 의문을 제기합니다.

LLM, 스스로를 반박할 수 있을까? 자기 생성 반실제적 설명의 한계

최근 몇 년간 머신러닝 모델의 행동을 이해하고 사용자의 신뢰를 확보하며 규제 준수를 보장하기 위해 다양한 설명 방법들이 개발되었습니다. 기울기 계산이나 특수 최적화 문제 해결과 같은 후처리(post-hoc) 기법이 주를 이루었죠. 하지만 대규모 언어 모델(LLM)의 놀라운 추론 능력 덕분에, 모델이 스스로 출력 결과를 설명하는 '자기 설명'이 새로운 패러다임으로 떠오르고 있습니다.

Zahra Dehghanighobadi, Asja Fischer, Muhammad Bilal Zafar 등 연구진은 이러한 자기 설명 중에서도 특히 '자기 생성 반실제적 설명(Self-Generated Counterfactual Explanations, SCEs)' 에 주목했습니다. SCEs란, 만약 다른 조건이었다면 결과가 어떻게 달라졌을지 설명하는 것을 의미합니다. 연구진은 LLM이 SCEs를 얼마나 효과적으로 생성하는지 측정하기 위한 테스트를 설계하고, 다양한 LLM 계열, 모델 크기, 온도 설정, 데이터 세트를 이용하여 분석을 진행했습니다.

흥미로운 결과가 도출되었습니다. 분석 결과, LLM은 때때로 SCEs를 생성하는 데 어려움을 겪었습니다. 설사 SCEs를 생성하더라도, 그 예측이 LLM 자신의 반실제적 추론과 일치하지 않는 경우가 많았다는 것입니다. 이는 LLM의 자기 설명 능력, 특히 반실제적 상황을 고려한 설명 능력에 대한 심각한 의문을 제기합니다.

이 연구는 LLM의 '자기 이해' 능력에 대한 깊이 있는 고찰을 제공하며, 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 함의를 가지고 있습니다. LLM이 더욱 발전하기 위해서는 단순한 예측뿐 아니라, 그 예측의 근거를 명확하고 일관되게 설명할 수 있는 능력을 향상시켜야 할 필요성을 강조하는 결과라 할 수 있습니다. 앞으로 LLM의 설명 가능성을 높이기 위한 더 많은 연구가 필요하며, 이는 AI의 투명성과 책임성을 확보하는 데 중요한 역할을 할 것입니다.