인터넷 규모 에이전트 훈련의 혁신: 인간 데이터를 넘어서

본 기사는 LLM을 활용하여 인터넷 규모의 에이전트 훈련을 가능하게 한 혁신적인 연구 결과를 소개합니다. 인간 데이터 의존도 감소, 자동화된 데이터 생성 및 평가 시스템 구축, 기존 벤치마크 대비 압도적인 성능 향상 등의 주요 내용을 다루며, 웹 에이전트 기술의 새로운 지평을 제시합니다.

웹 네비게이션 에이전트 훈련의 기존 방식은 인간이 직접 만든 데이터에 의존해 왔습니다. 하지만 Brandon Trabucco, Gunnar Sigurdsson, Robinson Piramuthu, 그리고 Ruslan Salakhutdinov이 이끄는 연구팀이 인터넷 규모의 에이전트 훈련을 위한 새로운 파이프라인을 개발하며 이러한 한계를 극복했습니다. 이들의 연구는 인간 데이터의 비효율성 문제를 해결하고자, LLM(대규모 언어 모델)을 활용한 자동화된 데이터 생성 및 평가 시스템을 구축한 것입니다.

3단계 자동화 파이프라인: 인간의 개입 최소화

연구팀은 크게 세 단계로 구성된 파이프라인을 개발했습니다. 먼저, LLM이 15만 개 이상의 다양한 웹사이트에 대한 작업을 자동 생성합니다. 다음으로, LLM 기반 에이전트가 이러한 작업을 수행하고 경로(trajectory) 데이터를 생성합니다. 마지막으로, 또 다른 LLM이 생성된 경로 데이터를 검토하여 성공 여부를 판단합니다. 놀랍게도, LLM은 인간 평가자와 비교해도 손색없는 성능을 보여주었습니다. 유해 콘텐츠 필터링 정확도는 97%, 실행 가능한 작업 생성률은 89%, 성공적인 경로 판단 정확도는 82.6%에 달했습니다.

70B 매개변수 Llama 3.1 기반 에이전트의 성과

Llama 3.1 70B 매개변수 모델 기반 에이전트를 이용한 실험 결과, 15만 개 웹사이트에 대한 작업 중 16.7%를 성공적으로 해결했습니다. 더욱 중요한 것은, 이 파이프라인을 통해 생성된 데이터로 훈련된 에이전트가 인간이 직접 만든 데이터로 훈련된 에이전트와 비슷하거나 더 나은 성능을 보였다는 점입니다.

기존 벤치마크 데이터셋에서의 압도적인 성능 향상

Mind2Web과 WebLINX 벤치마크 데이터셋을 사용한 실험에서도 괄목할 만한 성과가 나타났습니다. 연구팀의 파이프라인을 통해 생성된 데이터를 추가하여 훈련한 에이전트는 Step Accuracy를 각각 최대 +89.5%와 +122.1% 향상시켰습니다. 특히, 기존 벤치마크 데이터만으로 훈련된 에이전트는 다양한 실제 웹사이트에 일반화하는 데 어려움을 겪었지만, 연구팀의 데이터를 추가함으로써 WebLINX에서는 +149.0%, Mind2Web에서는 +156.3%의 일반화 성능 향상을 달성했습니다.

결론: 인간 데이터의 한계를 뛰어넘는 새로운 지평

이 연구는 LLM을 활용하여 인터넷 규모의 에이전트 훈련을 위한 효율적이고 확장 가능한 파이프라인을 제시했습니다. 인간 데이터에 대한 의존도를 획기적으로 줄이고, 에이전트의 성능과 일반화 능력을 크게 향상시킨 이 연구는 웹 에이전트 기술 발전에 중요한 이정표가 될 것으로 기대됩니다. 자세한 내용과 코드는 data-for-agents.github.io에서 확인할 수 있습니다.