마르코프 LLM 테스트 시간 확장을 위한 획기적인 방법: Atom of Thoughts

중국 과학원 연구진이 개발한 Atom of Thoughts (AoT)는 마르코프 과정을 활용하여 LLM의 테스트 시간 확장 문제를 해결하는 혁신적인 방법입니다. 기존 방법의 한계를 극복하고 효율성과 정확성을 높였으며, 다양한 벤치마크에서 우수한 성능을 검증받았습니다.

AI 추론의 혁신: Atom of Thoughts (AoT)

대규모 언어 모델(LLM)은 훈련 시간 확장을 통해 뛰어난 성능을 달성하지만, 추론 중 효과적인 추론을 수행하는 테스트 시간 확장은 여전히 어려운 과제입니다. 기존 방법들은 추론 규모가 커짐에 따라 누적된 정보로 인해 계산 자원 낭비는 물론 효과적인 추론을 저해하는 문제점을 안고 있습니다.

중국 과학원 연구진 (Teng, Yu, Shi, Zhang, Wu, Luo) 은 이러한 문제를 해결하기 위해, 복잡한 추론 과정을 서로 독립적이고 검증 가능한 일련의 하위 질문들로 분해하는 새로운 방법인 Atom of Thoughts (AoT) 를 제시했습니다. 각 하위 질문은 마치 마르코프 과정의 메모리 없는 전이처럼 현재 상태에 주로 의존하며, 과거 정보의 누적에 영향을 받지 않습니다.

AoT는 추론 과정에서 각 상태 전이마다 현재 질문을 의존성 기반의 방향 비순환 그래프로 분해하고 하위 질문들을 통합하여 새로운 원자 질문 상태를 형성하는 반복적인 분해-통합 과정을 통해 작동합니다. 이 과정은 직접적으로 해결 가능한 원자 질문에 도달할 때까지 계속되며, 질문 상태 간의 마르코프 전이를 자연스럽게 구현합니다. 더 나아가, 이러한 원자 질문들은 기존 테스트 시간 확장 방법과 원활하게 통합될 수 있어 AoT는 성능 향상을 위한 플러그인 형태로 활용 가능합니다.

6가지 벤치마크 테스트 결과, AoT는 독립적인 프레임워크이자 플러그인 확장으로 모두 효과적인 것으로 나타났습니다. 특히 HotpotQA에서는 GPT-4o-mini에 적용하여 80.6%의 F1 점수를 달성하며, o3-mini보다 3.4%, DeepSeek-R1보다 10.6% 높은 성능을 보였습니다. 코드는 GitHub에서 확인할 수 있습니다.

결론적으로, AoT는 LLM의 테스트 시간 확장에 대한 새로운 패러다임을 제시하며, 향상된 효율성과 정확성으로 AI 추론 기술의 발전에 크게 기여할 것으로 기대됩니다. 이는 단순한 성능 향상을 넘어, 복잡한 문제 해결을 위한 AI의 추론 능력을 근본적으로 개선하는 혁신적인 접근 방식이라 할 수 있습니다. 앞으로 AoT의 다양한 응용 분야와 추가 연구 결과에 대한 지속적인 관심이 필요합니다.