PAE: 인터넷 에이전트를 위한 자율적 기술 발견 시스템


PAE 시스템은 AI 에이전트가 스스로 새로운 기술을 습득하는 자율 학습 시스템으로, 실제 웹 환경에서 뛰어난 성능을 보여주었습니다. 제안자, 행위자, 평가자의 상호 작용을 통해 효율적인 학습이 가능하며, 향후 다양한 분야에서 지능형 에이전트 개발에 기여할 것으로 기대됩니다.

related iamge

인터넷을 누비는 자율 학습 AI 에이전트의 탄생: PAE 시스템

인터넷 서핑 에이전트부터 가정용 휴머노이드 로봇까지, 광범위한 능력을 가진 목표 지향적 에이전트의 비전은 기초 모델(Foundation Model)의 일반화 능력 덕분에 급속도로 발전하고 있습니다. 하지만 이러한 범용 에이전트는 길 찾기, 온라인 쇼핑 등 다양한 기술을 갖춰야 하며, 각 기술을 사람이 일일이 지시하는 방식으로는 한계가 있습니다.

이러한 한계를 극복하기 위해 등장한 것이 바로 Proposer-Agent-Evaluator(PAE) 시스템입니다. 주요 연구진인 Yifei Zhou, Qianlan Yang 등 8명의 연구원이 개발한 PAE는 기초 모델 에이전트가 환경의 맥락 정보(예: 사용자 데모, 웹사이트 이름)를 활용하여 스스로 과제를 제시하고, 수행하고, 평가하는 자율 학습 시스템입니다.

PAE 시스템의 핵심 구성 요소

  • 제안자(Proposer): 맥락 정보를 바탕으로 에이전트가 연습할 과제를 자율적으로 제시합니다. 마치 사람이 “이 웹사이트에서 특정 상품을 찾아봐”라고 지시하는 것과 같습니다.
  • 행위자(Agent): 제시된 과제를 수행하고, 실제로 웹을 탐색하며 결과를 산출합니다. 마치 사람이 직접 키보드와 마우스를 사용하는 것과 유사합니다.
  • 평가자(Evaluator): VLM(Vision-Language Model) 기반의 자율 평가 시스템으로, 에이전트의 성공 여부를 평가하고 강화 학습(RL)에 필요한 보상 신호를 제공합니다.

실제 웹 환경에서의 놀라운 성능

PAE 시스템은 WebVoyager와 WebArena의 실제 웹사이트와 자체 호스팅 웹사이트를 사용하여 시각 기반 웹 탐색 작업에서 그 효과를 검증했습니다. 연구 결과는 PAE가 기존 최첨단(SOTA) 성능을 뛰어넘는 결과를 보여주었고, 자율적인 과제 제시와 강화 학습을 결합한 최초의 효과적인 학습 시스템임을 입증했습니다. (https://yanqval.github.io/PAE/)에서 오픈소스 코드와 체크포인트를 확인할 수 있습니다.

미래를 향한 발걸음

PAE 시스템은 AI 에이전트의 자율 학습 능력을 한 단계 끌어올린 획기적인 연구입니다. 이는 단순히 웹 탐색뿐만 아니라, 다양한 분야에서 지능적인 에이전트 개발의 가능성을 열어줄 것으로 기대됩니다. 앞으로 PAE 시스템이 더욱 발전하여 보다 복잡하고 다양한 과제를 스스로 해결하는 진정한 의미의 '지능형' 에이전트 시대를 앞당길 것으로 예상됩니다. 하지만, 이러한 기술 발전의 윤리적 함의에 대한 지속적인 논의와 주의가 필요합니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

Published:  (Updated: )

Author: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

http://arxiv.org/abs/2412.13194v1