탐험가(Explorer): 대규모 다중모드 웹 에이전트를 위한 탐색 기반 웹 경로 합성

본 기사는 대규모 다중모드 모델(LMM) 기반 웹 에이전트의 성능 향상을 위한 대규모 데이터셋 Explorer의 개발 및 그 성능을 소개합니다. Explorer는 다양한 웹 트래젝토리 데이터를 포함하며, 저렴한 비용으로 연구 접근성을 높였습니다. 이를 통해 웹 에이전트 연구의 새로운 지평이 열릴 것으로 기대됩니다.

탐험가(Explorer): 웹 에이전트 연구의 새로운 지평을 열다

최근 대규모 다중모드 모델(LMM)의 발전은 복잡한 웹 작업을 자율적으로 수행할 수 있는 에이전트의 등장으로 이어졌습니다. 하지만 오프라인 평가 벤치마크에서 상당한 발전을 이루었음에도 불구하고, 실제 온라인 환경에서의 성능은 여전히 인간 수준에 크게 미치지 못하고 있습니다. 핵심적인 병목 현상은 다양하고 대규모의 트래젝토리 수준 데이터셋의 부족입니다. 데이터 수집에 많은 비용이 들기 때문이죠.

이러한 문제를 해결하기 위해, Vardaan Pahuja 등 8명의 연구자들은 Explorer를 개발했습니다. Explorer는 94,000개 이상의 성공적인 다중모드 웹 트래젝토리, 49,000개의 고유 URL, 720,000개의 스크린샷, 그리고 3,300만 개의 웹 요소를 포함하는, 지금까지 가장 크고 다양한 트래젝토리 수준 데이터셋입니다. 특히, 광범위한 웹 탐색과 개선을 통해 다양한 작업 의도를 얻을 수 있도록 설계되었죠. 놀라운 점은 트래젝토리당 평균 비용이 28센트에 불과하다는 것입니다. 이는 폭넓은 연구자들이 접근 가능하도록 만드는 중요한 요소입니다.

Explorer 데이터셋을 활용하여 개발된 Explorer 웹 에이전트는 Mind2Web-Live, Multimodal-Mind2Web, MiniWob++와 같은 오프라인 및 온라인 웹 에이전트 벤치마크에서 강력한 성능을 보여주었습니다. 실험 결과는 데이터 확장이 웹 에이전트 성능 향상의 주요 원동력임을 보여줍니다.

이 연구는 최첨단 LMM 기반 에이전트 연구를 더욱 확장 가능하게 만들어, 더욱 발전된 웹 에이전트 기술 개발에 기여할 것으로 기대됩니다. 더 나아가, 데이터셋의 저렴한 비용은 전 세계 연구자들에게 더욱 포괄적인 연구 기회를 제공할 것으로 예상됩니다. 이는 웹 에이전트 기술 발전에 중요한 이정표가 될 것입니다.

결론적으로, Explorer는 대규모 다중모드 웹 에이전트 연구의 패러다임을 바꿀 잠재력을 지닌 혁신적인 연구 결과입니다.