Text2World: 거대 언어 모델의 세계 모델링 능력을 평가하다

중국과학원 연구팀이 개발한 Text2World 벤치마크는 LLM의 세계 모델링 능력 평가에 새로운 기준을 제시합니다. 대규모 강화 학습 기반 모델의 우수성과 함께, 세계 모델링 분야의 지속적인 발전을 위한 중요한 발걸음을 내딛었습니다.

최근 텍스트 설명으로부터 상징적 세계 모델을 생성하는 데 거대 언어 모델(LLM)을 활용하려는 관심이 높아지고 있습니다. 하지만 기존 연구는 평가의 무작위성, 간접 지표에 대한 의존, 제한적인 도메인 범위 등 여러 어려움에 직면했습니다.

중국과학원 소속 연구팀(Mengkang Hu 외) 은 이러한 문제점을 해결하고자 새로운 벤치마크인 Text2World를 개발했습니다. Text2World는 계획 도메인 정의 언어(PDDL)를 기반으로 하며, 수백 개의 다양한 도메인과 견고한 평가를 위한 실행 기반의 다기준 측정법을 특징으로 합니다. 이는 객관적이고 정확한 LLM의 세계 모델링 성능 평가를 가능하게 합니다.

연구팀은 Text2World를 이용하여 현재의 LLM들을 벤치마킹했습니다. 그 결과, 대규모 강화 학습으로 훈련된 추론 모델이 다른 모델들보다 뛰어난 성능을 보였습니다. 하지만 가장 성능이 좋은 모델조차도 세계 모델링 능력에는 여전히 한계가 있음을 확인했습니다.

이러한 통찰력을 바탕으로 연구팀은 테스트 시간 스케일링, 에이전트 훈련 등 LLM의 세계 모델링 능력을 향상시키기 위한 몇 가지 유망한 전략을 제시했습니다. 이는 향후 연구의 중요한 방향을 제시하는 부분입니다.

Text2World 프로젝트 페이지 (https://text-to-world.github.io/) 에서 자세한 내용을 확인할 수 있습니다. 이 프로젝트는 LLM을 세계 모델로 활용하는 미래 연구에 중요한 기반을 마련할 것으로 기대됩니다. 앞으로 LLM의 세계 모델링 능력 향상을 위한 연구가 더욱 활발해질 것으로 예상됩니다. Text2World는 이러한 발전에 중요한 역할을 할 것입니다. 💯