InvestorBench: LLM 기반 금융 에이전트의 새로운 기준
본 기사는 LLM 기반 금융 의사결정 에이전트 평가를 위한 최초의 벤치마크인 InvestorBench에 대한 소개입니다. InvestorBench는 다양한 금융 상품과 13개의 LLM 모델을 지원하며, 오픈소스 데이터셋을 활용하여 접근성을 높였습니다.

혁신적인 금융 투자의 시대, InvestorBench 등장
최근 대규모 언어 모델(LLM) 기반 에이전트가 금융 의사결정 분야에서 엄청난 잠재력을 보여주고 있습니다. 하지만 아직까지 두 가지 주요 과제가 남아있습니다. 첫째, 다양한 금융 업무에 적용 가능한 포괄적인 LLM 에이전트 프레임워크가 부족합니다. 둘째, 에이전트 성능 평가를 위한 표준화된 벤치마크와 일관된 데이터셋이 없습니다.
이러한 문제를 해결하기 위해 Li Haohang을 비롯한 15명의 연구진이 InvestorBench를 발표했습니다. InvestorBench는 다양한 금융 의사결정 상황에서 LLM 기반 에이전트를 평가하기 위해 특별히 설계된 최초의 벤치마크입니다. 이는 단순한 평가 도구를 넘어, 금융 시장의 미래를 조망하는 중요한 이정표가 될 것입니다.
InvestorBench의 핵심 기능:
다양한 금융 상품 지원: 주식, 암호화폐, 상장지수펀드(ETF) 등 다양한 금융 상품에 적용 가능한 포괄적인 작업 세트를 제공합니다. 이는 LLM 기반 에이전트의 활용 범위를 획기적으로 확장시키는 혁신적인 기능입니다. 단일 주식 투자에서부터 복잡한 포트폴리오 관리까지, InvestorBench는 다양한 시나리오를 지원합니다.
13개의 LLM 모델 지원 및 엄격한 평가: 13개의 다양한 LLM을 백본 모델로 사용하여, 다양한 시장 환경과 작업에서 에이전트 프레임워크의 추론 및 의사결정 능력을 엄격하게 평가합니다. 이를 통해 각 LLM의 강점과 약점을 명확하게 파악하고, 향후 LLM 개발 방향을 제시할 수 있습니다. 실제 시장 데이터를 반영한 까다로운 테스트를 거쳐, 에이전트의 실질적인 성능을 정확하게 측정합니다.
오픈소스 멀티모달 데이터셋 활용 및 접근성 확보: 다양한 오픈소스, 멀티모달 데이터셋을 활용하여 금융 의사결정을 위한 포괄적인 환경을 구축했습니다. 이는 연구자들이 InvestorBench를 쉽게 접근하고 활용할 수 있도록 하여, 금융 AI 분야의 발전을 가속화시킬 것입니다.
InvestorBench는 단순한 벤치마크를 넘어, LLM 기반 금융 에이전트의 발전과 금융 시장의 미래를 위한 중요한 플랫폼이 될 것입니다. 이를 통해 더욱 안전하고 효율적인 금융 시스템 구축에 한 걸음 더 다가갈 수 있을 것으로 기대됩니다.
Reference
[arxiv] INVESTORBENCH: A Benchmark for Financial Decision-Making Tasks with LLM-based Agent
Published: (Updated: )
Author: Haohang Li, Yupeng Cao, Yangyang Yu, Shashidhar Reddy Javaji, Zhiyang Deng, Yueru He, Yuechen Jiang, Zining Zhu, Koduvayur Subbalakshmi, Guojun Xiong, Jimin Huang, Lingfei Qian, Xueqing Peng, Qianqian Xie, Jordan W. Suchow
http://arxiv.org/abs/2412.18174v1