LightPROF: 지식 그래프 기반의 경량형 대규모 언어 모델 추론 프레임워크

LightPROF는 지식 그래프(KG)와 소규모 대규모 언어 모델(LLM)을 결합하여 효율적이고 정확한 추론을 가능하게 하는 혁신적인 프레임워크입니다. 'Retrieve-Embed-Reason' 프로세스를 통해 KG의 구조적 정보를 효과적으로 활용하며, 기존 방법들보다 우수한 성능과 자원 효율성을 제공합니다.

LightPROF: 지식 그래프를 활용한 효율적인 대규모 언어 모델 추론의 혁신

최근 대규모 언어 모델(LLM)은 텍스트 이해와 제로샷 추론 능력에서 놀라운 발전을 보였습니다. 하지만 지식의 업데이트 지연으로 인해 잘못된 추론이나 유해한 결과를 생성하는 경우가 발생할 수 있습니다. 이러한 문제를 해결하기 위해, 연구자들은 지식 그래프(KG)를 활용하여 LLMs의 추론 과정에 풍부하고 신뢰할 수 있는 정보를 제공하고자 노력해 왔습니다.

하지만 기존의 KG 기반 LLM 추론 방법들은 KG의 지식을 단순히 텍스트 형태로만 활용하여 구조적 정보를 무시하는 경향이 있었습니다. 또한 대부분 대규모 모델에 의존하여 높은 자원 소모라는 문제점을 안고 있었습니다.

이러한 한계를 극복하기 위해, Tu Ao 등 연구진은 경량화되고 효율적인 KGQA 추론 프레임워크인 LightPROF를 제안했습니다. LightPROF는 LLM의 잠재력을 최대한 활용하여 매개변수 효율적인 방식으로 복잡한 추론 작업을 수행합니다.

LightPROF는 'Retrieve-Embed-Reason'이라는 세 단계 프로세스를 따릅니다. 먼저, Retrieve 모듈을 통해 KG에서 관련 추론 그래프를 정확하고 안정적으로 검색합니다. 다음으로, Transformer 기반의 지식 어댑터(Knowledge Adapter) 를 통해 KG에서 사실적 및 구조적 정보를 정교하게 추출하고 통합합니다. 그리고 이 정보를 LLM의 토큰 임베딩 공간에 매핑하여 LLM이 사용할 수 있는 적합한 프롬프트를 생성합니다. 마지막으로, Reason 단계에서 LLM이 이 프롬프트를 사용하여 최종 추론을 수행합니다.

LightPROF의 가장 큰 장점은 지식 어댑터만 학습하면 되므로, 어떤 오픈소스 LLM과도 호환 가능하다는 것입니다. 두 개의 공개 KGQA 벤치마크에 대한 광범위한 실험 결과, LightPROF는 소규모 LLM에서도 우수한 성능을 달성했습니다. 또한 입력 토큰 수와 추론 시간 측면에서도 상당한 이점을 보였습니다.

LightPROF는 LLM의 추론 성능을 향상시키는 동시에 자원 효율성을 높이는 획기적인 방법을 제시합니다. 이는 향후 KG 기반 LLM 추론 연구에 중요한 영향을 미칠 것으로 기대됩니다. 특히, 자원 제약이 있는 환경에서도 강력한 추론 성능을 필요로 하는 다양한 응용 분야에 널리 활용될 수 있을 것입니다.