다중 에이전트 강화학습의 정책 정렬을 위한 비전 기반 일반 잠재 함수

본 연구는 다중 에이전트 강화 학습에서 인간의 상식과 일치하는 정책을 유도하기 위한 계층적 비전 기반 보상 형성 방법을 제안합니다. 시각 언어 모델(VLM)과 시각적 거대 언어 모델(vLLM)을 활용하여, AI 에이전트가 인간의 상식에 맞는 행동을 학습하도록 돕고, 최적 정책을 보존합니다. Google Research Football 환경 실험 결과, 승률 향상과 인간 상식과의 정렬 효과를 확인했습니다.

인공지능의 상식 학습: 비전 기반 보상 형성의 혁신

인간의 상식을 이해하는 AI, 꿈같은 이야기가 아닙니다. 최근 마 하오(Hao Ma) 등 연구진이 발표한 논문, "다중 에이전트 강화 학습에서 정책 정렬을 위한 비전 기반 일반 잠재 함수(Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning)"는 이 꿈에 한 걸음 더 다가서게 하는 획기적인 연구 결과를 제시합니다.

다중 에이전트 강화 학습(MARL)에서 가장 큰 난관 중 하나는 AI 에이전트의 행동을 인간의 상식에 맞추는 것입니다. 복잡하고 장기적인 작업에서 상식을 보상으로 모델링하는 것은 매우 어렵습니다. 기존의 방법들은 전문가가 규칙 기반 보상을 설계해야 하는데, 이는 많은 노력을 필요로 하고 상식에 대한 고차원적인 의미론적 이해가 부족하다는 한계를 가지고 있습니다.

연구진은 이 문제를 해결하기 위해 계층적 비전 기반 보상 형성 방법을 제안했습니다. 이 방법의 핵심은 바로 시각 언어 모델(VLM) 과 시각적 거대 언어 모델(vLLM) 의 활용입니다.

• 하위 계층: VLM은 일반적인 잠재 함수 역할을 합니다. VLM의 고유한 의미론적 이해 능력을 통해 AI 에이전트의 정책이 인간의 상식과 일치하도록 유도합니다. 마치 인간이 시각적 정보와 언어적 정보를 종합하여 상황을 이해하듯이, VLM은 시각 정보를 바탕으로 상식에 부합하는 행동을 학습하도록 돕습니다.
• 상위 계층: vLLM 기반의 적응형 기술 선택 모듈은 장기적인 작업에서 발생할 수 있는 불확실성과 변화에 대응합니다. 지침, 비디오 재생, 훈련 기록 등을 활용하여 미리 설계된 잠재 함수 풀에서 상황에 가장 적합한 함수를 선택함으로써, 에이전트의 정책이 유연하고 효율적으로 적응할 수 있도록 합니다.

특히, 이 방법은 최적 정책을 보존한다는 이론적 증명을 갖추고 있습니다. Google Research Football 환경에서 진행된 실험 결과는 제안된 방법이 승률 향상뿐만 아니라 인간의 상식과 일치하는 정책을 효과적으로 정렬한다는 것을 보여주었습니다.

이 연구는 단순히 기술적 진보를 넘어, AI가 인간의 상식을 이해하고 더욱 인간과 공존하는 방향으로 나아가는 중요한 이정표를 제시합니다. 앞으로 이러한 기술이 더욱 발전한다면, 인간과 AI의 협력이 더욱 원활해지고, 다양한 분야에서 AI의 활용 가능성이 크게 확대될 것으로 기대됩니다.