OS-Genesis: 역방향 작업 합성을 통한 GUI 에이전트 궤적 생성 자동화


본 기사는 GUI 에이전트 훈련 데이터 생성의 어려움을 혁신적으로 해결한 OS-Genesis에 대해 다룹니다. 기존 방식의 한계를 극복하고 역방향 작업 합성을 통해 고품질 데이터를 생성하는 OS-Genesis는 GUI 에이전트 성능 향상과 실제 환경 적용 가능성을 높였습니다.

related iamge

GUI 에이전트 훈련의 혁신: OS-Genesis

최근 비전-언어 모델(VLMs) 기반의 그래픽 사용자 인터페이스(GUI) 에이전트는 놀라운 발전을 이루며 인간 수준의 컴퓨터 제어 능력을 보여주고 있습니다. 하지만 이러한 에이전트의 훈련에는 큰 걸림돌이 있습니다. 바로 고품질 궤적 데이터의 부족입니다.

기존의 데이터 수집 방법들은 인력 투입이 많거나 (인간 감독), 미리 정의된 작업을 실행하여 데이터를 생성하는 방식(합성 데이터 생성)을 사용해왔습니다. 하지만 이러한 방법들은 비용이 많이 들거나 데이터의 품질을 보장할 수 없다는 한계가 존재하며, 데이터의 다양성이 부족하고 실제 환경과의 차이가 크다는 문제점도 안고 있었습니다.

Sun Qiushi 등 15명의 연구원들이 개발한 OS-Genesis는 이러한 문제점을 해결하기 위해 기존의 데이터 수집 과정을 뒤집는 혁신적인 접근 방식을 제시합니다. OS-Genesis는 미리 정의된 작업에 의존하는 대신, 에이전트가 먼저 환경을 인지하고 단계별 상호 작용을 수행한 후, 역으로 고품질 작업을 유추하여 궤적 수준의 탐색을 가능하게 합니다. 그리고 궤적 보상 모델을 사용하여 생성된 궤적의 품질을 보장합니다.

연구 결과, OS-Genesis로 훈련된 GUI 에이전트는 매우 어려운 온라인 벤치마크에서 성능이 크게 향상되었음을 보여주었습니다. 또한, OS-Genesis는 기존의 합성 방법과 비교하여 데이터 품질과 다양성이 훨씬 우수하다는 것을 심층 분석을 통해 입증했습니다.

OS-Genesis의 코드, 데이터 및 체크포인트는 OS-Genesis Homepage에서 확인할 수 있습니다. 이 연구는 GUI 에이전트 개발의 새로운 장을 열고, 더욱 효율적이고 강력한 디지털 자동화 시스템 구축에 중요한 기여를 할 것으로 기대됩니다. 특히, 데이터 품질과 다양성 문제를 해결함으로써, 실제 세계 문제 해결에 더욱 가까이 다가설 수 있게 되었습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis

Published:  (Updated: )

Author: Qiushi Sun, Kanzhi Cheng, Zichen Ding, Chuanyang Jin, Yian Wang, Fangzhi Xu, Zhenyu Wu, Chengyou Jia, Liheng Chen, Zhoumianze Liu, Ben Kao, Guohao Li, Junxian He, Yu Qiao, Zhiyong Wu

http://arxiv.org/abs/2412.19723v1