에고 중심 세계에서의 인간 행동 모방: 혁신적인 EgoAgent 모델 등장!


루첸(Lu Chen) 박사 연구팀이 개발한 EgoAgent 모델은 단일 트랜스포머를 이용하여 지각, 예측, 행동을 통합적으로 학습하는 혁신적인 인공지능 에이전트입니다. 연속 토큰 시퀀스와 학습 가능한 쿼리 토큰을 활용하여 높은 성능을 달성하였으며, 다양한 분야에 혁신을 가져올 것으로 기대됩니다.

related iamge

인간처럼 생각하고 행동하는 인공지능 에이전트 개발은 오랜 숙원이었습니다. 최근, 루첸(Lu Chen) 박사를 비롯한 연구팀이 발표한 논문은 이러한 숙제에 한 걸음 더 다가선 획기적인 결과를 담고 있습니다. 바로 EgoAgent라는 이름의 새로운 인공지능 모델입니다.

기존의 인공지능 에이전트 모델들은 지각, 예측, 행동을 각각 다른 모델로 학습시켜왔습니다. 이는 마치 서로 다른 언어를 사용하는 부서들이 협업하는 것과 같아 정보의 흐름이 원활하지 못하고 효율적인 협력이 어려웠습니다. 하지만 EgoAgent는 이러한 한계를 극복하기 위해 단일 트랜스포머를 이용하여 세 가지 능력을 동시에 학습하는 혁신적인 접근 방식을 채택했습니다.

핵심은 연속 토큰 시퀀스입니다. EgoAgent는 지각, 예측, 행동의 표현 공간을 모두 이 연속 토큰 시퀀스로 매핑합니다. 이를 통해 각 능력 간의 관계를 명확하게 드러내고, 상호 학습을 통해 시너지 효과를 극대화합니다. 여기에 더해 학습 가능한 쿼리 토큰을 추가하여 현재 상태, 미래 상태, 다음 행동을 효율적으로 예측합니다.

연구팀은 이미지 분류, 미래 상태 예측, 3D 인간 동작 예측 등 다양한 실험을 통해 EgoAgent의 탁월한 성능을 입증했습니다. 특히, 기존 모델보다 월등한 성능을 보였으며, 재현성을 위해 코드와 학습된 모델을 공개하여 다른 연구자들의 후속 연구를 지원할 예정입니다.

EgoAgent의 등장은 에고 중심 세계에서 인간 수준의 지능을 가진 인공지능 개발에 중요한 이정표를 세운 사건입니다. 이 기술은 자율주행, 로봇 공학, 가상현실 등 다양한 분야에 혁신을 불러일으킬 것으로 기대됩니다. 앞으로 EgoAgent가 어떤 놀라운 발전을 이룰지 기대하며 지켜볼 필요가 있습니다. 🎉


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Acquisition through My Eyes and Steps: A Joint Predictive Agent Model in Egocentric Worlds

Published:  (Updated: )

Author: Lu Chen, Yizhou Wang, Shixiang Tang, Qianhong Ma, Tong He, Wanli Ouyang, Xiaowei Zhou, Hujun Bao, Sida Peng

http://arxiv.org/abs/2502.05857v1