껑충 도약을 위한 한 걸음 뒤로: 언어 모델 추론 향상을 위한 자기 되돌아보기

중국 연구진이 발표한 논문에서 제시된 자기 되돌아보기 메커니즘은 LLM의 추론 능력을 40% 이상 향상시키는 것으로 나타났으며, AGI 개발에 중요한 진전을 가져올 것으로 기대됩니다.

인공지능(AI)의 새로운 지평을 열 새로운 연구가 등장했습니다. 양효원, 주현의, 위문다 등 중국 연구진이 발표한 논문 "Step Back to Leap Forward: Self-Backtracking for Boosting Reasoning of Language Models"은 대규모 언어 모델(LLM)의 추론 능력을 획기적으로 향상시키는 자기 되돌아보기(Self-Backtracking) 메커니즘을 제시합니다. OpenAI의 o1과 같은 시스템이 보여주듯, 느린 사고(slow-thinking) 메커니즘을 LLM에 통합하는 것은 2단계 AGI 추론기(Level 2 AGI Reasoners)를 달성하는 유망한 방법입니다. 하지만, 비효율적인 과도한 사고와 보조 보상 모델에 대한 과도한 의존과 같은 어려움이 여전히 남아 있습니다.

연구진은 이러한 한계가 LLM이 효과적인 추론의 핵심 요소인 탐색 과정을 내면화하지 못하기 때문에 발생한다는 점을 지적합니다. 이 문제를 해결하기 위한 중요한 단계는 LLM이 언제 어디서 되돌아갈지 자율적으로 결정할 수 있도록 하는 것입니다. 이는 전통적인 탐색 알고리즘에서 기본적인 작업입니다.

이를 위해 연구진은 훈련과 추론 중에 LLM이 되돌아갈 수 있는 능력을 갖추도록 하는 자기 되돌아보기 메커니즘을 제안합니다. 이 메커니즘은 추론 능력뿐만 아니라 느린 사고 과정을 자기 개선을 통한 빠른 사고로 전환하여 효율성을 높입니다.

실험 결과, 제안된 방법은 LLM의 추론 능력을 크게 향상시키는 것으로 나타났습니다. 최적 경로 감독 미세 조정 방법과 비교하여 40% 이상의 성능 향상을 달성했습니다. 이 연구는 더욱 발전되고 견고한 추론기를 개발하기 위한 새로운 가능성을 제시합니다. 단순히 답을 찾는 것을 넘어, LLM이 스스로의 사고 과정을 되짚어보고 개선하며 더욱 효율적이고 정확한 결과를 도출하는 시대가 눈앞에 다가온 것입니다. 이는 AI 연구의 획기적인 전환점이 될 것으로 기대됩니다.

용어 설명:

• AGI (Artificial General Intelligence): 인간과 같이 다양한 작업을 수행할 수 있는 일반적인 인공지능
• LLM (Large Language Model): 대규모 언어 모델