혁신적인 AI: 무인 수상선 군집 제어의 새로운 지평을 열다!

김현준, 이강훈, 박준호, 리지아천, 박진규 연구원 팀은 인간의 암묵적 선호도를 반영하는 새로운 RLHF 접근법을 통해 무인 수상선 군집 제어의 효율성과 안전성을 크게 향상시켰습니다. 에이전트 수준 피드백 시스템과 LLM을 활용한 혁신적인 방법으로, 다중 에이전트 시스템의 설계 및 운용에 새로운 가능성을 제시했습니다.

무인 수상선(USV) 군집 제어의 혁명: 인간의 암묵적 선호도 기반 정책 미세 조정

최근 김현준, 이강훈, 박준호, 리지아천, 박진규 연구원 팀은 다중 에이전트 강화 학습(MARL) 분야에서 획기적인 연구 결과를 발표했습니다. 이들의 연구는 무인 수상선(USV) 군집을 이용한 수색 및 구조, 감시, 함정 보호와 같은 복잡한 문제 해결에 초점을 맞추고 있습니다.

MARL은 여러 에이전트 간의 협력과 경쟁을 효율적으로 처리할 수 있는 잠재력을 가지고 있지만, 사용자의 선호도에 시스템 동작을 정확히 맞추는 데 어려움을 겪어왔습니다. 기존의 방법들은 전문가의 직관을 보상 함수에 효과적으로 반영하는 데 한계가 있었기 때문입니다.

연구팀은 이러한 문제를 해결하기 위해 인간 피드백 기반 강화 학습(RLHF) 접근 방식을 제안했습니다. 핵심은 에이전트 수준 피드백 시스템입니다. 이 시스템은 피드백을 에이전트 내부, 에이전트 간, 팀 내부의 세 가지 유형으로 분류하여 신호의 모호성을 줄이고, 신뢰도 높은 학습을 가능하게 합니다. 이는 마치 각 USV의 행동과 군집 전체의 움직임을 정교하게 분석하고, 그에 맞는 피드백을 제공하는 '교관'과 같은 역할을 하는 것입니다.

하지만 여전히 인간의 직접적인 피드백은 시간과 자원 측면에서 비효율적일 수 있습니다. 이를 극복하기 위해 연구팀은 대규모 언어 모델(LLM) 을 활용했습니다. LLM은 지역 제약, 충돌 회피, 작업 할당 등 다양한 시나리오에 대한 피드백을 평가하여, USV 군집 정책을 효과적으로 미세 조정하는 데 기여합니다. 이는 마치 LLM이 '심판' 역할을 하며, 각 USV의 행동이 규칙에 부합하는지, 최적의 성능을 내고 있는지를 판단하는 것과 같습니다.

이 연구는 USV 군집 제어뿐만 아니라 다양한 다중 에이전트 시스템의 설계 및 운용에 시사하는 바가 큽니다. 특히, 공정성 유지와 성능 일관성을 확보하면서 효율적인 정책 개선을 가능하게 함으로써, AI 기술의 실제 세계 적용 가능성을 한층 높였다는 점에서 큰 의의를 지닙니다. 앞으로 이 기술이 더욱 발전하여, 더욱 안전하고 효율적인 자율 시스템 구축에 기여할 것으로 기대됩니다.