획기적인 AI 연구: 사전 훈련된 언어 모델의 설명 가능성 혁신
본 기사는 사전 훈련된 언어 모델(PLM)의 설명 가능성을 향상시키는 새로운 방법인 PLMR에 대한 연구 결과를 소개합니다. 연구진은 PLM의 토큰 균질성 문제를 해결하여 해석 가능한 근거를 생성하는 데 성공하였으며, 다양한 실험을 통해 PLMR의 효과성을 검증했습니다. 이 연구는 AI에 대한 신뢰도를 높이고 더 폭넓은 응용 분야를 열어줄 것으로 기대됩니다.

최근 자연어 처리(NLP) 분야에서 사전 훈련된 언어 모델(PLM)의 활용이 급증하고 있지만, 그 설명 가능성에 대한 우려 또한 커지고 있습니다. Libing Yuan 등 연구진은 이러한 문제를 해결하기 위해 선택적 합리화(Selective Rationalization) 이라는 새로운 프레임워크를 제시했습니다. 이는 예측의 근거로서 인간이 이해할 수 있는 입력 부분 집합을 선택하는 방법입니다.
기존의 합리화 프레임워크를 PLM에 적용하면 심각한 성능 저하 및 실패 문제가 발생하여 비효율적이거나 의미 없는 근거만 생성되는 경우가 많았습니다. 이는 합리화 방법에 대한 신뢰를 심각하게 저해하고 PLM에 대한 합리화 기술의 적용을 제한하는 요인이었습니다.
연구진은 이러한 문제의 주요 원인이 PLM이 생성하는 문장 내 토큰의 균질성에 있음을 발견했습니다. 이를 해결하기 위해 연구진은 PLMR(Pre-trained Language Model's Rationalization) 이라는 새로운 방법을 제안했습니다. PLMR은 NLP 작업을 처리하면서 해석 가능한 근거를 제공하기 위해 PLM을 발생기(generator) 와 예측기(predictor) 로 분리합니다.
PLMR의 발생기는 관련 없는 토큰을 제거하여 균질성을 완화하고, 예측기는 전체 텍스트 정보를 사용하여 예측을 표준화합니다. 다양한 PLM과 두 개의 널리 사용되는 데이터셋에 대한 실험을 통해 PLMR이 PLM에 선택적 합리화를 적용하는 데 있어 효과적임을 입증했습니다. 자세한 내용은 Github(https://github.com/ylb777/PLMR)에서 확인할 수 있습니다.
이 연구는 PLM의 설명 가능성을 향상시키는 중요한 진전으로, AI에 대한 신뢰도를 높이고 더 폭넓은 응용 분야를 열어줄 것으로 기대됩니다. 향후 연구에서는 PLMR의 성능을 더욱 개선하고 다양한 NLP 작업에 적용하는 방안을 모색할 필요가 있습니다. 특히, 다국어 지원 및 실제 응용 시나리오에서의 성능 평가는 중요한 연구 과제가 될 것입니다.
Reference
[arxiv] Boosting Explainability through Selective Rationalization in Pre-trained Language Models
Published: (Updated: )
Author: Libing Yuan, Shuaibo Hu, Kui Yu, Le Wu
http://arxiv.org/abs/2501.03182v1