Iris: 적응형 초점과 자기 개선으로 GUI 복잡성을 극복하다


본 기사는 중국과학원 자동화연구소 연구진이 개발한 Iris라는 혁신적인 시각적 에이전트에 대해 소개합니다. Iris는 정보 민감형 자르기(ISC)와 자기 개선 이중 학습(SRDL)이라는 두 가지 핵심 기술을 통해 고해상도의 복잡한 GUI 환경에서도 효율적이고 정확하게 작업을 수행합니다. 적은 양의 데이터로 최첨단 성능을 달성한 Iris는 AI 에이전트 개발의 새로운 가능성을 제시합니다.

related iamge

웹 페이지, 소프트웨어 애플리케이션, 운영체제와 같은 상호작용이 많은 디지털 환경에서 업무 자동화를 위해 디지털 에이전트의 활용이 증가하고 있습니다. 대규모 언어 모델(LLM) 기반의 텍스트 에이전트는 플랫폼 특정 API 때문에 잦은 업데이트가 필요하지만, 다중 모달 대규모 언어 모델(MMLM)을 활용하는 시각적 에이전트는 그래픽 사용자 인터페이스(GUI)와 직접 상호 작용하여 적응성이 뛰어납니다.

하지만 고해상도의 시각적으로 복잡한 디지털 환경을 처리할 때 시각적 인식에 어려움을 겪는 것이 현실입니다. 중국과학원 자동화연구소의 Zhiqi Ge 등 연구진이 발표한 논문 "Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining"은 이러한 문제에 대한 해결책을 제시합니다. 바로 Iris라는 혁신적인 시각적 에이전트입니다.

Iris는 정보 민감형 자르기(ISC) 와 자기 개선 이중 학습(SRDL) 이라는 두 가지 핵심 기술을 통해 기존의 한계를 극복합니다. ISC는 가장자리 감지 알고리즘을 사용하여 시각적으로 정보가 밀집된 영역을 동적으로 식별하고 우선 순위를 지정하여, 정보 밀도가 높은 영역에 더 많은 컴퓨팅 자원을 할당함으로써 효율적인 처리를 가능하게 합니다. 이는 마치 사람의 눈이 중요한 부분에 집중하는 것과 유사한 방식입니다.

SRDL은 UI 요소를 설명하는 참조(referring)와 요소를 찾는 접지(grounding) 사이의 이중 학습 루프를 통해 에이전트의 복잡한 작업 처리 능력을 향상시킵니다. 참조 성능이 향상되면 접지 성능이 향상되고, 그 반대의 경우도 마찬가지입니다. 놀라운 점은 추가로 주석이 달린 데이터가 필요하지 않다는 것입니다. 이는 데이터 확보의 어려움을 해결하는 중요한 돌파구입니다.

실험 결과, Iris는 단 850,000개의 GUI 주석만으로 여러 기준에서 최첨단 성능을 달성했습니다. 이는 10배 이상의 훈련 데이터를 사용하는 방법들을 능가하는 놀라운 결과입니다. 이러한 성능 향상은 웹 및 OS 에이전트의 후속 작업에도 상당한 이점을 가져다 줄 것으로 기대됩니다. 이는 AI 에이전트 개발에 있어 데이터 효율성의 중요성을 강조하는 사례이며, 향후 연구 방향에 대한 귀중한 시사점을 제공합니다.

결론적으로 Iris는 제한된 데이터로 높은 성능을 달성하는 획기적인 기술을 선보였으며, 복잡한 GUI 환경에서 AI 에이전트의 활용 가능성을 크게 확장하는 중요한 발걸음입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Iris: Breaking GUI Complexity with Adaptive Focus and Self-Refining

Published:  (Updated: )

Author: Zhiqi Ge, Juncheng Li, Xinglei Pang, Minghe Gao, Kaihang Pan, Wang Lin, Hao Fei, Wenqiao Zhang, Siliang Tang, Yueting Zhuang

http://arxiv.org/abs/2412.10342v1