AutoDroid-V2: 코드 생성으로 SLM 기반 GUI 에이전트 성능 향상


AutoDroid-V2는 소형 언어 모델(SLM)과 코드 생성 방식을 이용하여 모바일 UI 자동화 문제를 해결한 혁신적인 시스템입니다. 앱별 API 문서 자동 생성 및 다양한 작업 샘플 생성을 통해 SLM의 학습 효율을 높였으며, 기존 시스템보다 높은 성공률과 낮은 자원 소모량을 달성했습니다. 오픈소스로 공개될 예정이어서 기술 발전에 크게 기여할 것으로 예상됩니다.

related iamge

모바일 UI 자동화의 혁신: AutoDroid-V2 등장

모바일 UI 에이전트 분야는 자연어 명령을 통해 모바일 UI와 상호 작용하여 작업을 완료하는 것을 목표로 오랫동안 연구되어 왔습니다. 최근 대규모 언어 모델(LLM)의 발전으로 큰 진전을 이루었지만, 강력한 LLM은 높은 연산 능력이 필요하고 로컬 배포가 어려워 개인정보 보호 및 비용 문제가 발생했습니다.

Hao Wen 등 연구진이 개발한 AutoDroid-V2는 이러한 문제를 해결하기 위해 소형 언어 모델(SLM)과 코드 생성 방식을 활용했습니다. 기존의 LLM 기반 방식과 달리, AutoDroid-V2는 UI 작업 자동화 문제를 코드 생성 문제로 변환하여 SLM이 직접 코드를 생성하고, 이를 로컬에서 실행합니다.

하지만, 일반적인 코딩 작업과 달리 UI 자동화 코드 생성은 앱의 다양성, 복잡성 및 변화무쌍함 때문에 어려움이 있습니다. 이를 해결하기 위해 연구진은 문서 중심 접근 방식을 채택했습니다. 각 앱에 대한 세분화된 API 문서를 자동으로 생성하고, 이 문서를 바탕으로 다양한 작업 샘플을 생성하여 SLM의 학습을 효과적으로 유도하는 것입니다.

이러한 방식을 통해 AutoDroid-V2는 다양한 앱과 작업에 대해 정확하고 효율적인 스크립트를 생성할 수 있게 되었습니다.

실험 결과, AutoDroid-V2는 기존 최첨단 모바일 UI 에이전트에 비해 성공률이 크게 향상되었고, 지연 시간 및 토큰 소모량이 훨씬 적은 것으로 나타났습니다. 이는 개인정보 보호 및 비용 효율성 측면에서 큰 의미를 가집니다. 더욱 놀라운 것은, AutoDroid-V2의 코드가 오픈소스로 공개될 예정이라는 점입니다. 이는 연구의 발전과 기술의 확산에 크게 기여할 것으로 예상됩니다. AutoDroid-V2는 모바일 UI 자동화 분야에 새로운 가능성을 열었을 뿐만 아니라, SLM의 잠재력을 보여주는 훌륭한 사례가 될 것입니다. 앞으로 AutoDroid-V2가 더욱 발전하여 우리 생활을 편리하게 만들어 줄 것을 기대합니다!


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] AutoDroid-V2: Boosting SLM-based GUI Agents via Code Generation

Published:  (Updated: )

Author: Hao Wen, Shizuo Tian, Borislav Pavlov, Wenjie Du, Yixuan Li, Ge Chang, Shanhui Zhao, Jiacheng Liu, Yunxin Liu, Ya-Qin Zhang, Yuanchun Li

http://arxiv.org/abs/2412.18116v2