두 번 생각하고 한 번 클릭: 빠르고 느린 시스템을 통한 GUI 접지 향상

인간의 이중적 사고 시스템을 모방한 AI 기반 GUI 접지 프레임워크 'Focus'가 소량의 데이터와 파라미터로 최첨단 성능을 달성하며 복잡한 GUI 상호작용 개선 가능성을 제시했습니다.

인간은 작업의 복잡성에 따라 사고 방식을 유연하게 전환합니다. 빠른 직관적 판단에서부터 심층적인 분석적 이해까지 자유롭게 넘나들죠. 하지만 자연어 명령어를 기반으로 인터페이스 요소를 찾는 기존의 GUI 접지 시스템은 단순히 즉각적인 예측에만 의존합니다. 중첩 구조와 계층적 관계를 가진 복잡한 인터페이스 레이아웃을 이해하는 데 어려움을 겪고 효율성이 떨어지는 것이죠.

Tang Fei 등 10명의 연구진이 발표한 논문 "Think Twice, Click Once: Enhancing GUI Grounding via Fast and Slow Systems"는 바로 이러한 한계를 극복하기 위해 인간의 이중 시스템 인지에서 영감을 얻은 새로운 GUI 접지 프레임워크 **'Focus'**를 제시합니다. 'Focus'는 빠른 예측과 체계적인 분석을 결합하여 작업 복잡도에 따라 빠른 처리와 신중한 처리 사이를 동적으로 전환하는 적응형 시스템 전환을 통해 효율성과 정확성을 모두 최적화합니다.

'Focus'는 접지를 단계적으로 접근합니다. 먼저 인터페이스를 요약하고, 시각적으로 집중 분석한 후, 정확한 좌표를 예측하는 3단계 과정으로 이루어져 있습니다. 이러한 구조적 분해는 인터페이스 레이아웃과 시각적 관계를 체계적으로 이해할 수 있도록 합니다. 놀랍게도, 기존 접근 방식과 비교하여 훨씬 적은 양의 훈련 데이터(300K)와 모델 파라미터(2B)만으로도 최첨단 성능을 달성했습니다. ScreenSpot 데이터셋에서는 평균 정확도 77.4%를, 더욱 어려운 ScreenSpot-Pro 데이터셋에서는 13.3%의 성능 향상을 기록했습니다.

이 연구는 이중 시스템 접근 방식의 효과를 보여주는 동시에 복잡한 GUI 상호 작용 시나리오를 개선할 가능성을 제시합니다. 단순한 예측을 넘어, 인간의 사고 과정을 모방한 AI의 발전은 더욱 직관적이고 효율적인 사용자 인터페이스 경험을 제공할 수 있음을 시사합니다. 앞으로 'Focus'와 같은 연구가 더욱 발전하여 우리의 디지털 세상을 더욱 편리하고 사용자 친화적으로 만들어줄 것으로 기대됩니다.