BeamDojo: 험난한 지형도 거침없이! 스파스한 발판 위를 걷는 휴머노이드 로봇

BeamDojo는 스파스한 발판에서의 휴머노이드 로봇 보행 문제를 해결하는 혁신적인 강화학습 프레임워크입니다. 다각형 발에 최적화된 보상 시스템, 이중 비평가, 두 단계 학습 방식, 그리고 탑재형 LiDAR를 통해 시뮬레이션과 실제 환경 모두에서 뛰어난 성능을 입증했습니다.

험준한 산악 지형이나 불규칙한 돌밭처럼 발 디딜 곳이 부족한 환경에서 로봇이 안정적으로 걸어다니는 것은 여전히 큰 도전 과제입니다. 특히, 사람처럼 두 발로 걷는 휴머노이드 로봇은 불안정한 자세 때문에 더욱 어려움을 겪습니다. 기존의 사족보행 로봇 기술은 휴머노이드 로봇의 발 구조와 불안정한 형태 때문에 적용하기 어려웠죠.

하지만 중국 연구진(Huayi Wang 외 7명)이 개발한 BeamDojo는 이러한 문제를 혁신적으로 해결하는 강화학습 기반 프레임워크입니다. BeamDojo는 다음과 같은 핵심 기술을 통해 스파스한 발판 위에서도 민첩한 휴머노이드 로봇 보행을 가능하게 합니다.

• 다각형 발에 최적화된 발판 보상: 기존의 보상 시스템의 한계를 극복하기 위해, 다각형 발 모양에 맞춰 발판을 샘플링하는 새로운 보상 시스템을 도입했습니다.
• 이중 비평가(Double Critic): 안정적인 학습을 위해, 밀집된 보행 보상과 스파스한 발판 보상 사이의 균형을 맞추는 이중 비평가 시스템을 사용했습니다. 이는 마치 두 명의 심사위원이 로봇의 움직임을 평가하여 더욱 정교한 학습을 유도하는 것과 같습니다.
• 두 단계 강화학습: 먼저 평평한 지면에서 훈련하여 기본적인 보행 능력을 확보하고, 이후 실제 지형에서 미세 조정하는 두 단계 학습 방식을 채택했습니다. 이는 마치 운동선수가 기본기를 다진 후 실전 경험을 통해 실력을 향상시키는 것과 같습니다.
• 탑재형 LiDAR 기반 고도 맵: 실제 환경에서 로봇이 주변 지형을 인식하고 안전하게 이동할 수 있도록 LiDAR 센서를 이용한 고도 맵을 활용했습니다.

BeamDojo는 시뮬레이션과 실제 실험 모두에서 뛰어난 성능을 보였습니다. 특히, 외부 간섭에도 높은 성공률로 스파스한 발판 위에서 안정적인 보행을 구현했습니다. 이는 휴머노이드 로봇의 실제 세계 적용 가능성을 크게 높이는 획기적인 결과입니다. BeamDojo는 앞으로 재난 구조, 탐사 등 다양한 분야에서 활용될 가능성이 매우 높습니다. 더욱 발전된 기술을 통해 인간처럼 자유롭게 움직이는 휴머노이드 로봇 시대를 앞당길 것으로 기대됩니다! 🎉