몸으로 배우는 AI: 실시간 검증 기반 생성적 기술 습득의 혁신

중국과학원 연구진이 개발한 VERGSA는 실시간 검증을 통해 AI 에이전트의 생성적 기술 습득 효율을 크게 높였습니다. 수학적 추론 검증 모델의 성공을 바탕으로 개발된 이 프레임워크는 자동화된 보상 라벨링 시스템을 통해 기존 방식의 한계를 극복하고, 다양한 실험 결과를 통해 그 효과를 입증했습니다. 향후 AI 기술 발전에 큰 영향을 미칠 것으로 기대됩니다.

중국과학원의 연구진이 발표한 최신 논문 “Real-Time Verification of Embodied Reasoning for Generative Skill Acquisition”은 AI 에이전트가 복잡한 3D 환경에서 다양한 기술을 효율적으로 학습하는 획기적인 방법을 제시합니다. 기존의 방법들은 대규모 언어 모델(LLM)과 같은 일반적인 에이전트의 지도 신호에 의존하여 복잡한 3D 환경에서의 효율성이 떨어지고, 방대한 계산 비용이 문제였습니다.

이에 연구진은 수학적 추론 검증 모델의 성공 사례에 착안하여 VERGSA(Verifying Embodied Reasoning in Generative Skill Acquisition) 라는 새로운 프레임워크를 개발했습니다. VERGSA는 실시간 검증 원리를 몸으로 배우는 기술 습득 과정에 통합하여 다음과 같은 혁신적인 성과를 달성했습니다.

• 문맥에 맞는 과제를 동적으로 통합: 수학적 추론 검증을 몸으로 배우는 학습으로 자연스럽게 확장하여, 상황에 맞는 과제를 프롬프트에 포함하고 하위 과제와 전체 과제 모두에 대한 성공 지표를 정의합니다.
• 자동화된 보상 라벨링 시스템: 장면 구성과 하위 과제 학습의 기여도를 반복적으로 최종 확정하여, 밀집된 보상 신호를 생성하는 자동화된 시스템을 구축하여, 어려운 수동 보상 엔지니어링을 제거했습니다.

실험 결과, VERGSA는 기존 방식에 비해 괄목할 만한 성능 향상을 보였습니다.

• 예시 과제 풀: 평균 과제 성공률을 21% 향상시켰습니다.
• 검증 모델: 새로운 과제의 성공률을 24%, 기존 과제의 성공률을 36% 향상시켰습니다.
• LLM 기반 검증: LLM을 판단 기준으로 사용하는 기존 방식보다 검증 품질이 우수했습니다.

VERGSA는 AI 에이전트의 생성적 기술 습득 분야에 새로운 가능성을 열었습니다. 실시간 검증을 통해 학습 효율을 높이고, 복잡한 3D 환경에서의 AI의 능력을 한층 발전시킬 수 있다는 점에서 큰 의미를 지닙니다. 이 연구는 향후 AI 로봇, 자율주행 자동차 등 다양한 분야에 폭넓은 영향을 미칠 것으로 예상됩니다. 하지만, 더욱 다양한 환경과 과제에 대한 검증과 실제 적용에 대한 추가 연구가 필요합니다.