모바일 GUI 에이전트의 안전한 미래를 위한 혁신: VeriSafe Agent(VSA)

이화여대 연구팀이 개발한 VeriSafe Agent(VSA)는 대규모 언어 모델 기반 모바일 GUI 에이전트의 안전성과 신뢰성을 높이는 혁신적인 형식적 검증 시스템입니다. 자동 형식화 기술을 통해 사용자 의도와 에이전트 행동의 일치 여부를 정확하게 검증하여 오류를 방지하고 작업 완료율을 크게 향상시킵니다.

최근 대규모 언어 모델(LLM)의 발전은 모바일 그래픽 사용자 인터페이스(GUI) 에이전트의 등장으로 이어져, 사용자들이 자연어 명령어만으로 복잡한 모바일 작업을 자동화할 수 있는 가능성을 열었습니다. 하지만 LLM의 확률적 특성과 모바일 작업의 모호성 및 맥락 의존성으로 인해, LLM 기반 자동화는 신뢰성이 떨어지고 오류 발생 가능성이 높다는 문제점이 있습니다.

이러한 문제를 해결하기 위해 이화여대 연구팀(이정재, 이동재, 최치훈, 임영민, 위재영, 허기홍, 오상은, 이선재, 신인식)은 VeriSafe Agent(VSA) 를 개발했습니다. VSA는 모바일 GUI 에이전트의 행동을 논리적으로 검증하는 형식적 검증 시스템으로, 에이전트가 작업을 수행하기 전에 사용자의 의도와 정확하게 일치하는지 결정적으로 확인하는 역할을 합니다.

VSA의 핵심은 자동 형식화 기술입니다. 이 기술은 사용자의 자연어 명령어를 도메인 특화 언어(DSL)로 표현된 형식적으로 검증 가능한 사양으로 변환합니다. 이를 통해 런타임 규칙 기반 검증이 가능해져, VSA는 잘못된 행동을 감지하고 수정 피드백을 제공하거나 안전하지 않은 동작을 중지시켜 오류를 방지합니다. GPT-4를 활용한 VSA는 18개의 널리 사용되는 모바일 앱에서 300개의 사용자 지시 사항을 대상으로 평가되었으며, 에이전트 작업 검증에서 94.3%-98.33%의 정확도를 달성했습니다. 이는 기존 LLM 기반 검증 방법보다 20.4%-25.6% 향상된 수치이며, GUI 에이전트의 작업 완료율을 90%-130% 향상시켰습니다.

VSA는 LLM 기반 자동화와 형식적 소프트웨어 검증 간의 격차를 효과적으로 해소하는 최초의 시도로 평가받고 있습니다. 이는 모바일 GUI 에이전트의 안전성과 신뢰성을 크게 높여, 사용자 경험을 향상시키고 더욱 안전하고 효율적인 모바일 환경을 구축하는 데 기여할 것으로 기대됩니다. 앞으로 VSA의 발전과 다양한 분야로의 적용을 통해 더욱 안전하고 신뢰할 수 있는 인공지능 시스템 구축에 대한 기대가 높아지고 있습니다. 🎉