혁신적인 AI 추론 모델 Self-GIVE: 제한된 지식으로도 놀라운 성과

He 등 연구진의 Self-GIVE는 제한된 구조적 지식을 사용하여 LLM의 연상적 사고 능력을 향상시키는 혁신적인 모델입니다. 기존 GIVE의 한계를 극복하고 소규모 LLM에서도 효과적으로 작동하며, 생물의학 질의응답 과제에서 우수한 성능을 보였습니다.

제한된 지식으로 놀라운 추론 능력을 발휘하는 Self-GIVE

인간은 복잡한 질문에 답하기 위해 기존 지식과 새로운 정보를 연관 지어 생각합니다. 예를 들어 멜라토닌이 불면증에 도움이 되는지 판단할 때, '호르몬이 정신 질환에 도움이 된다'는 지식과 '멜라토닌은 호르몬이고 불면증은 정신 질환이다'는 지식을 연관 지어 추론합니다.

최근 He 등 연구진이 발표한 논문 “Self-GIVE: Associative Thinking from Limited Structured Knowledge for Enhanced Large Language Model Reasoning”은 이러한 연상적 사고를 LLM에 적용하는 Self-GIVE라는 획기적인 방법을 제시했습니다. Self-GIVE는 지식 그래프(KG)를 활용하여 구조화된 지식을 확장하는 Graph Inspired Veracity Extrapolation (GIVE)을 개선한 모델입니다.

기존 GIVE는 많은 가설적 삼중항을 생성하고 제거하는 과정이 필요하여 효율성과 일반화 능력이 떨어지는 한계가 있었습니다. Self-GIVE는 이러한 문제점을 극복하기 위해 강화 학습 기반의 retrieve-RL 프레임워크를 사용합니다. 구체적으로, Self-GIVE는 구조화된 정보와 개체 집합을 추출하여 모델이 질의된 개념과 연결하는 데 도움을 줍니다.

Self-GIVE의 주요 장점은 다음과 같습니다.

• LLM 호출 및 토큰 오버헤드 감소: 기존 GIVE의 과도한 LLM 호출과 토큰 사용량 문제를 해결했습니다.
• 소규모 LLM 지원: 3B 또는 7B와 같은 소규모 LLM에서도 효과적으로 작동합니다.
• 정확도 향상: LLM 가지치기 과정에서 발생하는 부정확한 지식 문제를 해결하여 정확도를 높였습니다.

실험 결과: 135개 노드의 UMLS KG를 사용하여 Self-GIVE로 미세 조정한 결과, Qwen2.5 3B 및 7B 모델의 성능이 생물의학 질의응답 과제에서 최대 28.5%→71.4% 및 78.6%→90.5% 향상되었습니다. 특히 7B 모델은 GIVE를 사용한 GPT3.5 turbo와 동등하거나 능가하는 성능을 보였으며, 토큰 사용량은 90% 이상 감소했습니다.

결론: Self-GIVE는 구조화된 검색과 추론을 연상적 사고와 확장성 있게 통합하는 혁신적인 방법입니다. 제한된 지식으로도 놀라운 추론 능력을 보여주는 Self-GIVE는 AI의 발전에 중요한 기여를 할 것으로 기대됩니다. 앞으로 더욱 발전된 Self-GIVE를 통해 AI가 더욱 복잡하고 다양한 문제를 해결할 수 있게 될 것입니다.