혁신적인 AI: 인간의 선호도를 학습하는 USV 군집 제어 시스템

김현준, 이강훈, 박준호, 리지아천, 박진규 연구팀은 인간의 암묵적 선호도를 반영하는 다중 에이전트 강화학습 기반 USV 군집 제어 시스템을 개발했습니다. 에이전트 수준의 피드백 시스템과 LLM을 활용하여 시스템의 효율성과 정확성을 높였으며, 해양 분야를 넘어 다양한 분야에 적용 가능성을 제시합니다.

인간의 암묵적 선호도를 반영하는 USV 군집 제어의 혁신

김현준, 이강훈, 박준호, 리지아천, 박진규 연구팀이 다중 에이전트 강화학습(MARL) 을 이용한 무인 수상선(USV) 군집 제어 시스템에 획기적인 발전을 가져왔습니다. 기존 MARL은 복잡한 상황에서의 협력과 경쟁을 효과적으로 처리하지만, 인간 사용자의 선호도를 정확히 반영하는 데 어려움을 겪었습니다. 수색 및 구조, 감시, 선박 보호와 같은 임무에서 USV 군집의 행동을 사용자의 의도에 정확하게 맞추는 것은 매우 중요하며, 기존의 보상 함수 설계만으로는 한계가 있었습니다.

연구팀은 이 문제를 해결하기 위해 인간 피드백 기반 강화학습(RLHF) 접근 방식을 제안했습니다. 핵심은 에이전트 수준의 피드백 시스템입니다. 이는 피드백을 개별 에이전트(Intra-agent), 에이전트 간(Inter-agent), 그리고 팀 내부(Intra-team) 세 가지 유형으로 분류하여 더욱 정교하게 분석하고 학습에 반영합니다. 이는 에이전트 간 상호 작용의 복잡성을 효과적으로 처리하는 핵심 기술입니다.

하지만, 직접적인 인간 피드백은 시간과 비용이 많이 소요됩니다. 이를 극복하기 위해 연구팀은 대규모 언어 모델(LLM) 을 활용했습니다. LLM은 지역 제한, 충돌 회피, 작업 할당과 같은 다양한 피드백 시나리오를 평가하여 RLHF의 효율성을 높였습니다. 이는 인간의 개입을 최소화하면서도 시스템의 성능을 최적화할 수 있도록 하는 혁신적인 방법입니다.

이 연구는 USV 군집 정책을 효과적으로 개선하여 공정성과 성능 일관성을 유지하면서 다중 에이전트 시스템의 주요 과제를 해결했습니다. 향후 해양 감시, 수색 및 구조, 선박 보호 등 다양한 분야에서 USV 군집의 활용도를 크게 높일 것으로 기대됩니다. 인간의 암묵적인 선호도를 학습하는 AI 기술의 발전은 자율 시스템의 신뢰성과 효율성을 크게 향상시킬 뿐만 아니라, 우리 삶의 여러 분야에 긍정적인 영향을 미칠 것입니다.

결론적으로, 본 연구는 MARL과 RLHF를 결합하여 LLM을 활용함으로써 인간의 암묵적 선호도를 효과적으로 반영하는 USV 군집 제어 시스템을 구현했다는 점에서 매우 중요한 의미를 지닙니다.