혁신적인 강화학습: 소규모 언어모델의 '마음 이론' 능력 개화

루 이롱(Yi-Long Lu) 박사 연구팀은 강화학습(RL)을 이용해 소규모 LLM의 마음 이론(ToM) 능력을 향상시켰습니다. 7B 파라미터 모델은 Hi-ToM 벤치마크에서 84.50%의 정확도를 달성, 대규모 모델을 능가하는 성능을 보였습니다. 이는 RL의 사회적 인지 능력 향상 가능성을 보여주는 중요한 연구 결과입니다.

최근 루(Yi-Long Lu) 박사 연구팀의 놀라운 연구 결과가 발표되었습니다. 그들은 강화학습(Reinforcement Learning, RL) 을 통해 소규모 언어모델(LLM)의 마음 이론(Theory of Mind, ToM) 능력을 획기적으로 향상시키는 데 성공했습니다!

기존 연구는 규칙 기반 RL이 수학이나 논리 추론과 같은 구조적인 문제 해결에는 효과적이라는 것을 보여주었습니다. 하지만, 타인의 감정, 의도, 믿음을 이해하는 ToM과 같은 사회적 추론 영역에는 적용되지 않았습니다. 이번 연구는 이러한 한계를 극복하는 쾌거를 이루었습니다.

연구팀은 3200개의 질문으로 구성된 다양한 시나리오 데이터셋을 사용하여 0.5B에서 7B 파라미터의 소규모 LLM을 학습시켰습니다. 결과는 놀라웠습니다. 7B 파라미터 모델은 Hi-ToM 벤치마크에서 84.50%의 정확도를 달성하여 GPT-4o 및 DeepSeek-v3와 같은 대규모 모델을 능가하는 성능을 보였습니다. 이는 파라미터 수가 훨씬 적음에도 불구하고 달성한 성과라 더욱 주목할 만합니다.

흥미로운 점은 모델의 크기에 따른 성능 차이입니다. 3B 파라미터 이하의 소규모 모델은 추론 붕괴 현상을 보였지만, 7B 파라미터 모델은 일관된 신념 추적을 통해 안정적인 성능을 유지했습니다. 더 나아가, RL 기반 모델은 고차원 ToM 문제, 새로운 텍스트 형식, 그리고 이전에 보지 못한 데이터셋에도 뛰어난 일반화 성능을 보여주었습니다.

이 연구는 RL이 LLM의 사회적 인지 능력을 향상시키고, 구조적 문제 해결과 미묘한 사회적 추론 사이의 간극을 메울 수 있는 잠재력을 보여줍니다. 이는 AI의 사회적 지능 발전에 중요한 이정표가 될 것으로 기대됩니다. 앞으로 이러한 기술이 어떻게 발전하고, 사회에 어떤 영향을 미칠지 지켜보는 것이 매우 흥미로울 것입니다.

주요 연구진: 루 이롱(Yi-Long Lu), 장춘후이(Chunhui Zhang), 송지아쥔(Jiajun Song), 판리펑(Lifeng Fan), 왕웨이(Wei Wang)