AutoDroid-V2: 코드 생성으로 SLM 기반 GUI 에이전트 성능 향상


AutoDroid-V2는 소형 언어 모델(SLM)과 코드 생성 방식을 활용하여 모바일 UI 자동화 문제를 해결하는 혁신적인 시스템입니다. 문서 중심 접근 방식을 통해 높은 성공률과 효율성을 달성하였으며, 곧 오픈소스로 공개될 예정입니다.

related iamge

AutoDroid-V2: 모바일 UI 자동화의 새로운 지평을 열다

최근 대규모 언어 모델(LLM)의 발전은 오랫동안 연구되어 온 모바일 UI 에이전트 분야에 혁신을 가져왔습니다. 자연어 명령을 통해 모바일 UI와 상호 작용하여 다양한 작업을 수행하는 UI 에이전트는 이제 강력한 LLM 덕분에 더욱 정교해졌습니다. 하지만 강력한 LLM은 높은 연산 능력을 요구하며, 개인 기기에서의 로컬 배포는 사용자의 프라이버시 문제와 중앙 집중식 서버 운영 비용 증가라는 난제를 야기합니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 AutoDroid-V2입니다. 하오웬(Hao Wen) 등 11명의 연구진이 개발한 AutoDroid-V2는 소형 언어 모델(SLM) 을 활용하여 UI 자동화 문제를 코드 생성 문제로 전환하는 혁신적인 접근 방식을 제시합니다. 이는 고성능 LLM이 필요 없이, 개인 기기에서도 효율적으로 작동하는 경량화된 시스템을 구현 가능하게 합니다.

일반적인 코딩 작업과 달리, UI 자동화 코드 생성은 다양하고 복잡하며 변화무쌍한 타겟 앱 환경 때문에 어려움이 있습니다. AutoDroid-V2는 이러한 어려움을 극복하기 위해 문서 중심 접근 방식을 채택했습니다. 각 앱에 대한 세분화된 API 문서를 자동으로 생성하고, 이를 기반으로 다양한 작업 샘플을 생성하는 것입니다. 이렇게 생성된 합성 문서와 작업 샘플을 통해 SLM은 정확하고 효율적인 스크립트를 생성하도록 학습합니다.

기존의 최첨단 모바일 UI 에이전트와의 비교 결과, AutoDroid-V2는 성공률을 크게 높이고 지연 시간과 토큰 소모량을 줄이는 놀라운 성과를 보였습니다. 곧 오픈소스로 공개될 예정이라고 하니, 모바일 UI 자동화 기술의 발전에 큰 기대를 걸어볼 만합니다. AutoDroid-V2는 단순히 기술적 진보를 넘어, 사용자 프라이버시와 효율성을 동시에 고려한 실용적이고 책임감 있는 AI 기술 개발의 모범 사례를 제시하고 있다는 점에서 더욱 의미가 깊습니다.


핵심: SLM 기반, 코드 생성, 문서 중심 접근 방식, 높은 성공률, 낮은 지연 시간 및 토큰 소모량, 오픈소스 공개 예정


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] AutoDroid-V2: Boosting SLM-based GUI Agents via Code Generation

Published:  (Updated: )

Author: Hao Wen, Shizuo Tian, Borislav Pavlov, Wenjie Du, Yixuan Li, Ge Chang, Shanhui Zhao, Jiacheng Liu, Yunxin Liu, Ya-Qin Zhang, Yuanchun Li

http://arxiv.org/abs/2412.18116v1