깊이만으로 충분할까요? LLM의 반복적 추론에 대한 새로운 시각

중국과학원 자동화연구소 연구진은 LLM의 반복적 추론 방식의 한계를 극복하기 위해 '폭 추론'이라는 새로운 개념을 제시했습니다. 초기 추론 경로의 다양성을 확보하여 심층 반복 추론보다 효율적이고 정확한 결과를 얻는 방법을 제시하며, 실험을 통해 그 효과를 입증했습니다. 이 연구는 LLM의 문제 해결 능력 향상에 크게 기여할 것으로 기대됩니다.

깊이만으로 충분할까요? LLM의 반복적 추론에 대한 새로운 시각

최근 대규모 언어 모델(LLM)의 놀라운 발전은 복잡한 문제 해결 능력 향상으로 이어졌습니다. 특히, 심층 반복 사고 연쇄(Chain-of-Thought, CoT) 추론은 LLM이 사전 훈련된 지식을 단계적으로 활성화하여 복잡한 작업을 해결하는 데 핵심적인 역할을 합니다. 하지만, 이러한 방법은 지속적인 개선을 보장하고 중지 기준을 결정하는 데 어려움을 겪습니다.

중국과학원 자동화연구소의 연구진(Zongqian Wu 외) 은 이러한 한계를 극복하기 위해 흥미로운 연구 결과를 발표했습니다. 논문 "Is Depth All You Need? An Exploration of Iterative Reasoning in LLMs" 에서 연구진은 초기 추론 경로에서 질문 해결에 직접적으로 기여하는 관련 지식을 활성화하여 반복적인 개선 과정을 생략하는 방법을 제안합니다. 이는 '폭 추론(breadth reasoning)'이라는 새로운 개념으로, 다양한 초기 추론 경로를 활용하여 기존의 심층 반복 추론 방식보다 효율적이고 정확한 결과를 얻을 수 있음을 보여줍니다.

기존의 폭 추론 접근 방식인 자기 일관성(self-consistency)은 다양성이 제한적이라는 단점이 있었습니다. 연구진은 이러한 한계를 극복하기 위해 맥락 탐색(contextual exploration)과 감소된 샘플링 임의성(reduced sampling randomness)을 통합하는 간단하지만 효과적인 방법을 제안합니다. 광범위한 실험 결과를 통해 이 방법이 심층 반복 추론보다 성능이 훨씬 우수함을 입증했습니다. 관련 코드는 https://github.com/zongqianwu/breadth 에서 확인할 수 있습니다.

이 연구는 LLM의 추론 능력 향상에 중요한 의미를 지닙니다. 깊이만을 추구하는 기존 방식에서 벗어나 폭을 고려함으로써, 더욱 효율적이고 정확한 문제 해결 능력을 구현할 수 있는 가능성을 열었습니다. 앞으로 LLM의 발전에 있어 '폭 추론'이라는 새로운 패러다임이 어떤 영향을 미칠지 기대됩니다. 특히, 다양한 분야의 복잡한 문제에 대한 LLM의 응용 가능성을 크게 확장할 수 있을 것으로 예상됩니다. 🧐