Phoenix: 미세 조정 로봇 동작 수정을 위한 움직임 기반 자기 반성 프레임워크

Xia, Feng, Wang, Hu 연구팀이 개발한 Phoenix 프레임워크는 MLLM과 운동 명령어를 활용하여 로봇의 미세한 동작 수정을 가능하게 하는 혁신적인 자가 수정 시스템입니다. RoboMimic 시뮬레이션과 실제 환경에서의 실험을 통해 우수한 성능을 입증하였으며, GitHub에 공개된 코드를 통해 더욱 많은 연구자들의 참여를 기대하고 있습니다.

로봇의 자가 치유 능력 향상: Phoenix 프레임워크

로봇이 스스로 실수를 바로잡는 능력, 즉 자가 수정 시스템은 로봇 기술의 핵심 과제입니다. 최근 다중 모달 대규모 언어 모델(MLLM)의 발전으로 로봇은 실패 상황에 대한 의미적 반성 능력을 갖추게 되었지만, 이를 실제 로봇의 미세한 동작 수정으로 연결하는 것은 여전히 큰 어려움으로 남아있었습니다.

Xia, Feng, Wang, 그리고 Hu 연구팀은 이러한 문제를 해결하기 위해 Phoenix 프레임워크를 개발했습니다. Phoenix는 운동 명령어를 매개체로 사용하여 고차원의 의미적 반성을 저차원의 로봇 동작 수정으로 연결하는 혁신적인 접근 방식을 제시합니다.

Phoenix 프레임워크의 핵심 기능:

• 이중 과정 운동 조정 메커니즘: MLLM을 이용하여 의미적 반성을 조잡한 수준의 운동 명령어 조정으로 변환합니다. 이는 마치 로봇에게 큰 그림을 제시하는 것과 같습니다.
• 다중 작업 운동 조건 확산 정책: 시각적 관찰 정보를 통합하여 고주파수의 미세한 로봇 동작 수정을 가능하게 합니다. 큰 그림을 바탕으로 세세한 부분까지 수정하는 역할을 수행합니다.
• 일생 학습: 실제 환경과의 상호 작용을 통해 모델의 성능을 지속적으로 향상시킵니다. 이는 마치 로봇이 경험을 통해 학습하고 성장하는 것과 같습니다.

이러한 두 모델의 결합을 통해, 일반화 능력에 대한 요구사항을 저차원 조작 정책에서 MLLM 기반 운동 조정 모델로 전환하고, 정밀하고 미세한 로봇 동작 수정을 가능하게 합니다.

실험 결과 및 코드 공개:

RoboMimic 시뮬레이션과 실제 환경에서 다양한 조작 작업에 대한 실험을 통해 Phoenix 프레임워크의 우수한 일반화 및 견고성을 확인했습니다. 연구팀은 GitHub에 코드를 공개하여(https://github.com/GeWu-Lab/Motion-based-Self-Reflection-Framework) 다른 연구자들의 활용을 지원하고 있습니다. 이는 로봇 기술 발전에 큰 기여를 할 것으로 기대됩니다.

Phoenix 프레임워크는 로봇의 자가 수정 능력을 한 단계 끌어올린 획기적인 연구 성과로, 앞으로 더욱 발전된 로봇 시스템 개발의 기반이 될 것으로 전망됩니다.