KaLM: 지식 정렬 자기회귀 언어 모델링 - 지식 그래프를 활용한 새로운 지평


KaLM은 이중 관점 지식 그래프 비교 학습을 통해 LLM의 지식 표현을 정렬하고, 트리플 완성 언어 모델링을 통해 지식의 텍스트 패턴을 통합함으로써 지식 기반 과제의 성능을 크게 향상시킨 새로운 지식 정렬 언어 모델링 접근법입니다.

related iamge

자기회귀 대규모 언어 모델(LLM)은 다음 토큰 예측을 통해 사전 훈련되며 생성 작업에 능숙합니다. 하지만, 사실적 지식 질의와 같은 지식 기반 과제에서는 성능이 미흡합니다. 고품질의 구조화된 지식베이스인 지식 그래프(KG)는 LLM에 신뢰할 수 있는 지식을 제공하여 지식 부족을 보완할 수 있습니다.

그러나 LLM과 KG의 명시적인 구조화된 지식을 정렬하는 것은 어려운 과제였습니다. 기존의 시도들은 지식 표현을 효과적으로 정렬하지 못하거나 LLM의 생성 능력을 저해하여 최적의 결과를 얻지 못했습니다.

Peng Yu 등 연구진이 발표한 논문 "KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning"은 이러한 문제를 해결하기 위해 KaLM, 즉 지식 정렬 언어 모델링 접근 방식을 제안합니다. KaLM은 명시적 지식 정렬과 암시적 지식 정렬의 결합된 목표를 통해 자기회귀 LLM을 KG 지식에 맞춰 미세 조정합니다.

명시적 지식 정렬 목표는 이중 관점 지식 그래프 비교 학습을 통해 LLM의 지식 표현을 직접 최적화하는 것을 목표로 합니다. 암시적 지식 정렬 목표는 트리플 완성 언어 모델링을 통해 지식의 텍스트 패턴을 LLM에 통합하는 데 중점을 둡니다. 이 방법은 특히 임베딩 기반 지식 그래프 완성과 생성 기반 지식 그래프 질의응답 평가에서 지식 기반 과제의 성능을 크게 향상시켰습니다.

이는 단순히 LLM의 생성 능력만을 강조하는 것이 아니라, 실제 지식과의 정렬이라는 중요한 측면을 고려하여 LLM의 응용 가능성을 획기적으로 높인 연구라는 점에서 큰 의미를 가집니다. 향후 지식 기반 LLM 개발에 중요한 이정표가 될 것으로 예상됩니다. 하지만, 더욱 다양한 지식 그래프와 실제 응용 환경에서의 성능 검증이 필요할 것으로 보입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning

Published:  (Updated: )

Author: Peng Yu, Cheng Deng, Beiya Dai, Xinbing Wang, Ying Wen

http://arxiv.org/abs/2412.04948v1