의사결정 트랜스포머 vs. 의사결정 맘바: 아타리 게임에서 순차적 의사결정의 복잡성 분석
본 연구는 Decision Transformer와 Decision Mamba의 성능 차이가 게임의 복잡성, 특히 행동 공간 및 시각적 복잡성에 의해 결정됨을 밝혔습니다. 이는 다양한 환경에 적용 가능한 AI 모델 개발에 중요한 시사점을 제공합니다.

최근 AI 분야에서 괄목할 만한 발전을 이룬 두 가지 강화학습 모델, 의사결정 트랜스포머(Decision Transformer, DT) 와 의사결정 맘바(Decision Mamba, DM) . 이 두 모델은 순차적 의사결정 문제에서 서로 다른 성능을 보이는데, 그 이유는 무엇일까요?
본 연구는 다양한 아타리 게임을 통해 DT와 DM의 성능 차이를 분석했습니다. 놀랍게도, Breakout과 Q*bert와 같은 간단한 게임에서는 DM이, Hero나 Kung Fu Master와 같은 복잡한 게임에서는 DT가 더 나은 성능을 보였습니다. 단순히 비교하는 것을 넘어, 12개의 게임을 대상으로 행동 공간의 복잡성, 시각적 복잡성, 평균 경로 길이, 첫 번째 보상까지의 평균 단계 등 다양한 게임 특성을 분석했습니다.
연구진은 시각적 복잡성 정량화, 랜덤 포레스트 회귀, 상관 분석, 행동 공간 단순화 전략 등 다양한 접근 방식을 통해 성능 차이에 영향을 미치는 주요 요인을 분석했습니다. 그 결과, 행동 공간의 복잡성과 시각적 복잡성(특히 압축률로 평가)이 DT와 DM의 성능 차이를 결정하는 주요 요인임을 밝혀냈습니다. 압축률이 낮을수록 시각적 복잡성이 낮다는 것을 의미합니다.
결론적으로, 단순한 행동과 시각적 요소를 가진 게임에서는 DM이, 복잡한 게임에서는 DT가 유리합니다. 이러한 발견은 순차적 모델링 강화학습에서 게임 특성이 성능 차이에 미치는 영향을 깊이 이해하는 데 기여하며, 다양하고 복잡한 환경을 위한 미래 모델 설계 및 응용에 중요한 방향을 제시합니다. 이는 단순히 게임에만 국한되지 않고, 자율주행, 로보틱스 등 다양한 분야에 적용될 수 있는 핵심적인 발견입니다.
연구팀은 앞으로 더욱 다양한 게임과 환경을 대상으로 연구를 확장하고, DT와 DM의 장점을 결합한 새로운 모델 개발을 계획하고 있습니다. 이를 통해 보다 강력하고 효율적인 AI 시스템을 구축하는 데 기여할 것으로 기대됩니다.
Reference
[arxiv] Decision Transformer vs. Decision Mamba: Analysing the Complexity of Sequential Decision Making in Atari Games
Published: (Updated: )
Author: Ke Yan
http://arxiv.org/abs/2412.00725v1