AutoDroid-V2: 코드 생성으로 SLM 기반 GUI 에이전트 성능 향상
AutoDroid-V2는 소형 언어 모델(SLM)과 코드 생성 방식을 이용하여 모바일 UI 자동화 문제를 해결한 혁신적인 시스템입니다. 앱별 API 문서 자동 생성 및 다양한 작업 샘플 생성을 통해 SLM의 학습 효율을 높였으며, 기존 시스템보다 높은 성공률과 낮은 자원 소모량을 달성했습니다. 오픈소스로 공개될 예정이어서 기술 발전에 크게 기여할 것으로 예상됩니다.

모바일 UI 자동화의 혁신: AutoDroid-V2 등장
모바일 UI 에이전트 분야는 자연어 명령을 통해 모바일 UI와 상호 작용하여 작업을 완료하는 것을 목표로 오랫동안 연구되어 왔습니다. 최근 대규모 언어 모델(LLM)의 발전으로 큰 진전을 이루었지만, 강력한 LLM은 높은 연산 능력이 필요하고 로컬 배포가 어려워 개인정보 보호 및 비용 문제가 발생했습니다.
Hao Wen 등 연구진이 개발한 AutoDroid-V2는 이러한 문제를 해결하기 위해 소형 언어 모델(SLM)과 코드 생성 방식을 활용했습니다. 기존의 LLM 기반 방식과 달리, AutoDroid-V2는 UI 작업 자동화 문제를 코드 생성 문제로 변환하여 SLM이 직접 코드를 생성하고, 이를 로컬에서 실행합니다.
하지만, 일반적인 코딩 작업과 달리 UI 자동화 코드 생성은 앱의 다양성, 복잡성 및 변화무쌍함 때문에 어려움이 있습니다. 이를 해결하기 위해 연구진은 문서 중심 접근 방식을 채택했습니다. 각 앱에 대한 세분화된 API 문서를 자동으로 생성하고, 이 문서를 바탕으로 다양한 작업 샘플을 생성하여 SLM의 학습을 효과적으로 유도하는 것입니다.
이러한 방식을 통해 AutoDroid-V2는 다양한 앱과 작업에 대해 정확하고 효율적인 스크립트를 생성할 수 있게 되었습니다.
실험 결과, AutoDroid-V2는 기존 최첨단 모바일 UI 에이전트에 비해 성공률이 크게 향상되었고, 지연 시간 및 토큰 소모량이 훨씬 적은 것으로 나타났습니다. 이는 개인정보 보호 및 비용 효율성 측면에서 큰 의미를 가집니다. 더욱 놀라운 것은, AutoDroid-V2의 코드가 오픈소스로 공개될 예정이라는 점입니다. 이는 연구의 발전과 기술의 확산에 크게 기여할 것으로 예상됩니다. AutoDroid-V2는 모바일 UI 자동화 분야에 새로운 가능성을 열었을 뿐만 아니라, SLM의 잠재력을 보여주는 훌륭한 사례가 될 것입니다. 앞으로 AutoDroid-V2가 더욱 발전하여 우리 생활을 편리하게 만들어 줄 것을 기대합니다!
Reference
[arxiv] AutoDroid-V2: Boosting SLM-based GUI Agents via Code Generation
Published: (Updated: )
Author: Hao Wen, Shizuo Tian, Borislav Pavlov, Wenjie Du, Yixuan Li, Ge Chang, Shanhui Zhao, Jiacheng Liu, Yunxin Liu, Ya-Qin Zhang, Yuanchun Li
http://arxiv.org/abs/2412.18116v2