BeamDojo: 험난한 지형도 거뜬히! 스파스한 발판에서의 민첩한 휴머노이드 보행 학습

중국과학원 연구진이 개발한 BeamDojo는 스파스한 발판에서의 휴머노이드 로봇 보행을 위한 혁신적인 강화학습 프레임워크입니다. 다각형 발에 맞춘 보상 시스템, 두 단계 학습 전략, LiDAR 기반 고도 맵을 통해 시뮬레이션과 실제 환경 모두에서 높은 성공률을 달성했습니다. 이는 향후 휴머노이드 로봇의 활용 범위를 크게 확장할 것으로 기대됩니다.

불안정한 발판, 흔들리는 로봇… 그 한계를 뛰어넘다!

험난한 지형, 발 디딜 곳조차 찾기 힘든 스파스한 발판 위를 걷는 것은 휴머노이드 로봇에게는 여전히 넘어야 할 큰 산입니다. 발의 정확한 위치 선정과 안정적인 보행은 필수적이지만, 기존의 사족보행 로봇 기술은 발 형태와 불안정한 자세 때문에 휴머노이드에는 적용하기 어렵습니다. 게다가 복잡한 지형에서의 학습은 희소한 발판 보상 신호와 비효율적인 학습 과정으로 인해 큰 어려움을 겪고 있죠.

BeamDojo: 혁신적인 강화학습 프레임워크의 등장

중국과학원 자동화연구소의 Huayi Wang을 비롯한 연구진은 이러한 문제를 해결하기 위해 BeamDojo라는 혁신적인 강화학습(Reinforcement Learning, RL) 프레임워크를 개발했습니다. BeamDojo는 다각형 발에 맞춘 샘플링 기반 발판 보상과 밀집된 보행 보상과 희소한 발판 보상 간의 균형을 맞추는 이중 비평가(double critic)를 도입했습니다. 이는 로봇이 효율적으로 학습하고 안정적인 보행을 익힐 수 있도록 돕는 핵심 기술입니다.

두 단계 학습 전략: 안전하고 효율적인 학습

BeamDojo는 단순히 복잡한 환경에서 학습하는 것이 아니라, 두 단계 학습 전략을 채택했습니다. 먼저 평평한 지형에서 훈련하여 기본적인 보행 능력을 확보하고, 이후 실제 지형에서 미세 조정을 거쳐 안정성을 높입니다. 이러한 접근 방식은 로봇이 과도한 시행착오 없이 효율적으로 학습할 수 있도록 지원합니다.

현실 세계 적용을 위한 LiDAR 활용

더 나아가 BeamDojo는 실제 환경 적용을 위해 탑재형 LiDAR 기반 고도 맵을 구현했습니다. 이는 로봇이 주변 환경을 정확하게 인식하고 안전하게 보행할 수 있도록 돕는 중요한 요소입니다. 광범위한 시뮬레이션과 실제 실험 결과, BeamDojo는 시뮬레이션에서 효율적인 학습을 달성하고, 실제 세계에서도 스파스한 발판 위에서 정확한 발 위치 선정과 민첩한 보행을 성공적으로 수행함을 보여주었습니다. 심지어 상당한 외부 방해에도 높은 성공률을 유지했습니다.

결론: 새로운 시대의 휴머노이드 로봇 기술

BeamDojo는 스파스한 발판에서의 휴머노이드 로봇 보행 기술에 혁신적인 발전을 가져왔습니다. 이 기술은 향후 재난 구조, 탐사 등 다양한 분야에서 휴머노이드 로봇의 활용 가능성을 크게 확대할 것으로 기대됩니다. 하지만, 더욱 극한 환경에서의 안정성 및 내구성 향상을 위한 추가 연구가 필요할 것입니다. BeamDojo의 성공은 앞으로 더욱 다양하고 강인한 로봇 기술의 발전을 예고하는 긍정적인 신호입니다.