트리슐(TRISHUL): 대규모 VLM 기반 GUI 에이전트를 위한 지역 식별 및 화면 계층 이해의 혁신

트리슐(TRISHUL)은 훈련이 필요없는 새로운 LVLM 기반 GUI 에이전트 프레임워크로, 계층적 화면 파싱(HSP)과 공간적으로 향상된 요소 설명(SEED) 모듈을 통해 다양한 데이터셋과 플랫폼에서 뛰어난 행동 접지 및 GUI 참조 성능을 보여줍니다.

대규모 비전 언어 모델(LVLM) 기반 GUI 에이전트의 새로운 지평을 열다: 트리슐(TRISHUL)

최근 대규모 비전 언어 모델(LVLM)의 발전은 다양한 패러다임 하에서 LVLM 기반 그래픽 사용자 인터페이스(GUI) 에이전트 개발을 가능하게 했습니다. 하지만 CogAgent나 SeeClick과 같은 훈련 기반 접근 방식은 데이터셋 특정 훈련에 의존하기 때문에 데이터셋 간 및 플랫폼 간 일반화에 어려움을 겪었습니다. GPT-4V와 같은 일반적인 LVLM은 행동 접지를 위해 Set-of-Marks(SoM)를 사용하지만, SoM 레이블을 얻으려면 HTML 소스와 같은 메타데이터가 필요하며, 이는 모든 플랫폼에서 일관되게 제공되지 않습니다.

이러한 한계를 극복하기 위해 Kunal Singh, Shreyas Singh, Mukund Khanna 세 연구원이 개발한 트리슐(TRISHUL) 이 등장했습니다. 트리슐은 훈련이 필요없는 새로운 에이전트 프레임워크로, 일반적인 LVLM을 강화하여 전체적인 GUI 이해를 가능하게 합니다. 기존 연구가 행동 접지(명령어를 GUI 요소에 매핑) 또는 GUI 참조(위치가 주어진 GUI 요소 설명) 중 하나에 초점을 맞춘 것과 달리, 트리슐은 두 가지를 원활하게 통합합니다.

트리슐의 핵심은 계층적 화면 파싱(HSP) 과 공간적으로 향상된 요소 설명(SEED) 모듈입니다. HSP와 SEED는 상호 작용하여 GUI 요소에 대한 다중 입자, 공간적, 의미적으로 풍부한 표현을 제공합니다. 이는 마치 인간이 GUI를 이해하는 방식과 매우 유사합니다. 큰 그림부터 세부적인 요소까지, 위치와 의미를 동시에 고려하여 이해하는 것이죠.

실험 결과는 놀랍습니다. 트리슐은 ScreenSpot, VisualWebBench, AITW, Mind2Web 데이터셋에서 행동 접지 작업에서 탁월한 성능을 보였습니다. 뿐만 아니라, ScreenPR 벤치마크에서 GUI 참조 작업에서 기존 최고 성능을 뛰어넘는 결과를 달성했습니다.

트리슐은 단순한 기술적 발전을 넘어, 보다 직관적이고 효율적인 GUI 상호 작용을 위한 새로운 가능성을 제시합니다. 앞으로 더욱 발전된 트리슐을 통해 인간과 컴퓨터의 상호 작용 방식에 혁신적인 변화가 일어날 것으로 기대됩니다. 이는 사용자 경험의 향상은 물론, 접근성 개선에도 크게 기여할 것입니다. 더 나아가, 트리슐의 핵심 기술인 HSP와 SEED 모듈은 다른 분야에도 적용될 수 있는 잠재력을 가지고 있어, 다양한 AI 응용 분야에 긍정적인 영향을 미칠 것으로 예상됩니다. 트리슐의 등장은 LVLM 기반 GUI 에이전트 연구에 있어 중요한 이정표가 될 것입니다.