LMM-3DP: LMM 계획자와 3D 기술 정책의 통합을 통한 일반화 가능한 조작의 혁신

Yuelei Li 등 연구진이 개발한 LMM-3DP 프레임워크는 LMM 계획자와 3D 기술 정책을 통합하여 로봇 조작의 일반화 가능성을 크게 향상시켰습니다. 실제 주방 환경에서의 평가 결과, 저수준 제어 성공률과 고수준 계획 정확도가 기존 방식 대비 괄목할 만한 향상을 보였습니다.

LMM-3DP: 로봇 조작의 새로운 지평을 열다

최근 거대한 다중 모달 모델(LMM) 의 발전과 3D 특징 필드의 의미론적 풍부화는 로봇 기술에 혁명적인 변화를 가져왔습니다. 이러한 발전은 고수준 추론(LMM)과 저수준 제어(3D 특징 필드) 사이의 간극을 메우는 데 중요한 역할을 합니다. Yuelei Li 등 연구진은 이러한 가능성을 현실로 만들기 위해 LMM-3DP라는 혁신적인 프레임워크를 개발했습니다.

LMM-3DP: 고수준 계획과 저수준 제어의 완벽한 조화

LMM-3DP는 고수준 계획, 저수준 제어, 그리고 이 둘의 효과적인 통합이라는 세 가지 핵심 관점을 기반으로 합니다.

• 고수준 계획: LMM-3DP는 환경 변화에 대한 동적인 장면 이해, 자기 피드백을 통한 비평 에이전트, 과거 정책 기억 및 실패 후 재시도 기능을 지원합니다. 이는 로봇이 예상치 못한 상황에도 유연하게 대처하고 학습할 수 있도록 돕습니다.
• 저수준 제어: 정확한 조작을 위해 의미론적으로 인식하는 3D 특징 필드를 활용합니다. 3D 환경을 정확하게 이해하고 조작하는 데 필수적인 요소입니다.
• 통합: 고수준 정책을 나타내는 언어 임베딩을 3D 변환기에서 3D 특징 필드와 함께 처리하여 고수준 계획과 저수준 제어를 매끄럽게 통합합니다. 이를 통해 고차원적인 계획과 정밀한 저수준 제어가 유기적으로 연결됩니다.

실제 주방 환경에서의 놀라운 성과

연구진은 실제 주방 환경에서 다양한 기술과 장기간 작업에 걸쳐 LMM-3DP를 광범위하게 평가했습니다. 그 결과, 기존 LLM 기반 기준선에 비해 저수준 제어의 성공률이 1.45배, 고수준 계획 정확도가 약 1.5배 향상되는 놀라운 결과를 얻었습니다. 이는 LMM-3DP의 우수성을 명확하게 보여줍니다. 자세한 내용은 https://lmm-3dp-release.github.io/ 에서 확인할 수 있습니다.

미래를 향한 발걸음

LMM-3DP는 로봇 조작의 일반화 가능성을 한 단계 끌어올린 획기적인 연구 결과입니다. 고수준 추론과 저수준 제어의 효과적인 통합은 더욱 지능적이고 유연한 로봇 시스템 개발의 초석이 될 것입니다. 향후 다양한 분야에서 로봇의 활용 범위를 넓히는 데 크게 기여할 것으로 기대됩니다.