혁신적인 인간-로봇 상호작용 시스템, NVP-HRI 등장!

본 기사는 고령화 사회에서의 서비스 로봇 중요성 증대와 기존 HRI 시스템의 한계를 지적하며, 음성과 자세 기반의 혁신적인 HRI 시스템인 NVP-HRI를 소개합니다. Zero-shot 학습을 통해 새로운 물체에도 적용 가능하고, 실제 작업 환경 평가에서 기존 시스템 대비 최대 59.2%의 효율성 향상을 보였습니다. 오픈소스 공개를 통해 더 큰 발전을 이끌 것으로 기대됩니다.

고령화 사회, 로봇과의 소통이 더욱 중요해지다

인구 고령화가 심화되는 현대 사회에서 서비스 로봇의 역할은 점점 더 중요해지고 있습니다. 하지만 기존의 인간-로봇 상호작용(HRI) 시스템은 사전에 학습된 물체에만 반응하는 경향이 있어 새로운 물체를 다루는 데 어려움을 겪었습니다. 특히 고령자들은 새로운 명령어를 기억하거나 손동작을 익히는 데 어려움을 느껴 기존 시스템 사용에 어려움을 겪었습니다.

NVP-HRI: 음성과 자세만으로 로봇을 제어하다

라이 유즈히(Yuzhi Lai)를 비롯한 연구팀이 개발한 NVP-HRI는 이러한 문제점을 해결하기 위해 음성 명령과 제시적 자세를 결합한 직관적인 다중 모달 HRI 패러다임입니다. NVP-HRI는 Segment Anything Model (SAM)을 활용하여 시각적 단서와 깊이 데이터를 분석하여 정확한 물체 표현을 가능하게 합니다. 사전 훈련된 SAM 네트워크 덕분에 NVP-HRI는 이전에 학습하지 않은 새로운 물체와도 제로샷 예측을 통해 상호 작용할 수 있습니다. 뿐만 아니라 대규모 언어 모델(LLM)을 통합하여 다중 모달 명령을 처리하고, 물체 선택 및 장면 분포를 실시간으로 조정하여 충돌 없는 궤적을 생성합니다. 또한, LLM의 환각(hallucination) 위험을 줄이기 위해 필수 제어 구문으로 동작 순서를 규제합니다.

놀라운 효율성 향상: 기존 방식 대비 최대 59.2% 증가!

유니버설 로봇을 사용한 다양한 실제 작업 환경에서의 평가 결과, NVP-HRI는 기존의 제스처 제어 방식에 비해 최대 59.2%의 효율성 향상을 보였습니다. (영상: https://youtu.be/EbC7al2wiAc) 이는 NVP-HRI의 혁신적인 기술력을 입증하는 결과입니다.

오픈소스 공개로 더 큰 발전을 향하여

연구팀은 NVP-HRI의 코드와 설계를 오픈소스 (https://github.com/laiyuzhi/NVP-HRI.git)로 공개하여 학계와 산업계의 기술 발전에 기여할 계획입니다. 이를 통해 더욱 발전된 인간-로봇 상호작용 시스템이 개발되고, 고령화 사회의 문제 해결에 크게 기여할 것으로 기대됩니다. NVP-HRI는 단순한 기술적 발전을 넘어, 더욱 편리하고 안전한 미래를 위한 중요한 발걸음입니다.