30억 파라미터 모델로 700억 파라미터 수준의 스토리텔링 달성: COS(M+O)S 시스템

토비아스 마테르조크 연구팀이 개발한 COS(M+O)S 시스템은 MCTS와 RL을 결합하여 30억 파라미터 언어 모델의 스토리텔링 능력을 700억 파라미터 모델 수준으로 끌어올렸습니다. 소규모 실험에서도 높은 평가를 받았으며, 적절한 수준의 놀라움(호기심)을 유발하는 스토리텔링을 목표로 하는 새로운 가치 모델의 효과가 입증되었습니다. 하지만 모델의 용량과 데이터 제한으로 인해 스토리의 절대적인 질은 여전히 개선의 여지가 있습니다.

토비아스 마테르조크가 이끄는 연구팀이 놀라운 성과를 발표했습니다! 30억 파라미터의 언어 모델을 사용하여, 기존 700억 파라미터 모델에 근접하는 수준의 스토리텔링 능력을 구현하는 데 성공한 것입니다. 그 비결은 바로 COS(M+O)S 시스템에 있습니다.

COS(M+O)S는 시스템 2 사고 방식에서 영감을 받아 설계된 새로운 프레임워크입니다. 핵심은 몬테카를로 트리 탐색(MCTS) 과 강화 학습(RL) 의 결합입니다. MCTS는 가능한 모든 스토리 전개 방향을 체계적으로 탐색하고, RL은 이 과정에서 얻은 정보를 바탕으로 모델의 스토리텔링 전략을 지속적으로 개선합니다. 단순히 일관성만을 추구하는 것이 아니라, 적절한 수준의 놀라움(호기심) 을 유발하는 스토리를 생성하도록 설계된 새로운 가치 모델이 이 과정에 중요한 역할을 합니다. 또한, 일관성 없는 스토리 전개는 페널티를 부여하여 보다 질 높은 스토리를 생성하도록 유도합니다.

흥미로운 점은, 이 시스템이 모델의 스토리텔링 스타일까지 변화시켰다는 것입니다. 초기에는 단순한 사고 과정에 기반한 스토리(Chain-of-Thought)를 생성했지만, 학습 과정을 거치면서 등장인물 중심의 스토리텔링으로 전환되었습니다.

소규모 실험 결과는 매우 고무적입니다. 참가자의 67%-77%가 COS(M+O)S가 생성한 최고 평점의 스토리를 저평가 스토리보다 더 선호했습니다. 이는 COS(M+O)S의 가치 함수가 효과적으로 작동하고 있음을 보여주는 강력한 증거입니다. GPT-4 평가에서도 Llama 3.2 3B 모델보다 0.59 표준편차(SD) 앞섰고, Llama 3.1 70B 모델과는 거의 차이가 없었습니다 (p=0.93, 통계적으로 유의미한 차이 없음). 결론적으로, COS(M+O)S는 30억 파라미터 모델의 스토리텔링 능력을 획기적으로 향상시켰습니다.

하지만 연구팀은 모델의 용량과 제한적인 학습 데이터로 인해 스토리의 절대적인 질은 여전히 개선의 여지가 있다고 지적했습니다. 앞으로 더 많은 데이터와 더욱 발전된 기술을 통해 더욱 놀라운 성과가 기대됩니다.