거대 언어 모델의 환각 문제 해결: 토큰 단위 계층 간 엔트로피 활용

중국과학원 연구진이 거대 언어 모델의 환각 문제 해결을 위한 새로운 디코딩 방법인 END를 제시했습니다. 토큰 단위 계층 간 엔트로피 분석을 통해 추가 학습 없이도 환각을 줄이고 사실성과 정보성을 높이는 데 성공했습니다. 실험 결과, END는 생성 콘텐츠의 진실성과 정보성을 향상시키는 동시에 QA 정확도를 유지했습니다.

거대 언어 모델의 환각, 이제 과거의 이야기?

최근 괄목할 만한 발전을 이룬 거대 언어 모델(LLM)은 놀라운 능력을 선보이고 있지만, 여전히 '환각'이라는 난관에 부딪히고 있습니다. 정확한 지식을 갖고 있음에도 불구하고, 사실과 다른 내용이나 허구적인 정보를 생성하는 현상이 바로 그것입니다.

하지만, 중국과학원 소속 연구진(Jialiang Wu, Yi Shen, Sijia Liu, Yi Tang, Sen Song, Xiaoyi Wang, Longjun Cai)이 이 문제에 대한 해결책을 제시했습니다. 그들의 논문, "Improve Decoding Factuality by Token-wise Cross Layer Entropy of Large Language Models" 에서는 LLM의 은닉 상태 예측 변화와 출력의 사실성 간의 상관관계를 토큰 단위로 심층 분석하여 환각 문제를 해결하는 새로운 디코딩 방법을 제시하고 있습니다.

혁신적인 접근: 토큰 단위 계층 간 엔트로피 분석

기존 연구들이 LLM의 환각 문제를 해결하기 위해 다양한 방법을 제시했지만, 이 연구는 토큰 단위 분석이라는 혁신적인 접근 방식을 통해 한 단계 도약했습니다. 단순히 전체 문장의 정확성을 평가하는 것이 아니라, 각 토큰(단어나 문장의 구성 요소)에 필요한 사실적 지식을 개별적으로 정량화하는 것입니다.

연구진은 이러한 분석 결과를 바탕으로 Cross-layer Entropy eNhanced Decoding (END) 라는 새로운 디코딩 방법을 개발했습니다. END는 계층 간 내부 확률 변화를 활용하여 각 후보 토큰의 사실적 지식을 정량화하고, 사실성이 높은 토큰을 우선시하도록 최종 예측 분포를 조정합니다. 이는 추가적인 학습 없이도 환각을 줄이고 생성된 콘텐츠의 사실성과 정보성을 높일 수 있다는 것을 의미합니다.

놀라운 결과: 환각 감소와 정확도 유지의 조화

실험 결과는 END의 효과를 명확하게 보여줍니다. 환각 및 QA 벤치마크에서 END는 생성된 콘텐츠의 진실성과 정보성을 크게 향상시키는 동시에 견고한 QA 정확도를 유지했습니다. 이는 단순히 환각을 줄이는 것뿐만 아니라, LLM의 실질적인 성능 향상으로 이어짐을 시사합니다.

이 연구는 LLM의 내재적 지식과 출력의 사실성 간의 상관관계를 더욱 깊이 이해하는 데 기여할 뿐만 아니라, LLM의 실용성을 한층 더 높이는 중요한 발걸음이 될 것으로 기대됩니다. 거대 언어 모델의 환각 문제 해결에 대한 새로운 전기를 마련한 이 연구는 앞으로 AI 기술 발전에 큰 영향을 미칠 것으로 예상됩니다.