긴 영상에서 AI 스킬 발견의 혁신: 마인크래프트로 증명된 자가지도 학습 기반 방법

본 연구는 자가지도 학습 기반의 새로운 영상 분할 기법 SBD를 제시하여, 긴 비정형 영상에서 AI 에이전트의 스킬 학습 효율을 크게 향상시켰습니다. 마인크래프트 실험 결과를 통해 그 우수성을 검증하였으며, 향후 다양한 분야에 적용될 가능성을 시사합니다.

개방형 세계에서 다양한 작업을 수행하는 AI 에이전트 개발은 핵심 과제입니다. 이를 위해서는 기본 기술들을 조합하여 새로운 기술을 학습하는 능력이 필수적입니다. 그러나 온라인 데모 영상은 길고 분절되지 않아, 기존의 방법으로는 기술 식별자를 사용하여 세분화하고 라벨링하는 것이 어려웠습니다.

Jingwen Deng 등 연구진은 이러한 문제를 해결하기 위해 자가지도 학습 기반 접근법을 개발했습니다. 이 방법은 긴 영상을 일련의 의미론적이고 기술적으로 일관된 세그먼트로 분할합니다. 연구진은 인간의 인지적 사건 분할 이론에서 영감을 얻어, SBD(Skill Boundary Detection) 라는 새로운 알고리즘을 제시했습니다.

SBD는 사전 훈련된 조건 없는 액션 예측 모델의 예측 오류를 활용하여 영상에서 기술 경계를 감지합니다. 예측 오류가 크게 증가하면 실행 중인 기술이 바뀌었다는 것을 의미한다는 가정에 기반합니다.

연구진은 마인크래프트라는 풍부한 개방형 세계 시뮬레이터를 사용하여 이 방법을 평가했습니다. 그 결과, SBD로 생성된 세그먼트를 사용하여 단기 원자 기술 작업에서 조건화된 정책의 평균 성능이 63.7% 및 52.1% 향상되었고, 장기 작업에서 계층적 에이전트의 성능이 11.3% 및 20.8% 향상되었습니다. 뿐만 아니라, 이 방법은 다양한 YouTube 영상을 활용하여 지시 사항을 따르는 에이전트를 훈련할 수 있습니다. (프로젝트 페이지: https://craftjarvis.github.io/SkillDiscovery)

이 연구는 비디오 데이터의 효율적인 활용과 복잡한 환경에서의 AI 에이전트 학습에 새로운 가능성을 제시합니다. 앞으로 이 기술은 게임, 로봇 제어, 교육 등 다양한 분야에 적용될 것으로 기대됩니다. 하지만, 더욱 다양한 환경과 작업에 대한 추가적인 실험과 검증이 필요하며, SBD의 일반화 성능 향상에 대한 연구도 지속되어야 할 것입니다. 이는 AI 기술 발전에 중요한 기여를 할 뿐만 아니라, 인간의 인지 과정에 대한 이해를 높이는 데에도 도움이 될 것으로 예상됩니다.