GPU 가속 앙상블 강화학습: 주식 및 암호화폐 거래의 새로운 지평


본 논문은 GPU를 활용한 대규모 병렬 시뮬레이션과 앙상블 기법을 결합하여 강화학습 기반 금융 거래 전략의 성능을 향상시킨 연구를 소개합니다. 주식 및 암호화폐 거래 실험에서 뛰어난 성능을 입증하여 금융 시장 예측 및 투자 전략 수립에 새로운 가능성을 제시합니다.

related iamge

금융 시장의 불확실성 속에서 안정적이고 높은 수익을 창출하는 것은 오랜 숙제였습니다. 최근 강화학습(Reinforcement Learning)이 이 분야에 혁신적인 가능성을 제시했지만, 정책의 불안정성과 샘플링 병목 현상이라는 두 가지 주요 과제에 직면해 왔습니다.

하지만, Nikolaus Holzer, Keyi Wang, Kairong Xiao, 그리고 Xiao-Yang Liu Yanglet 이 이끄는 연구팀이 이러한 난관을 극복할 획기적인 해결책을 제시했습니다. 바로 GPU를 활용한 대규모 병렬 시뮬레이션과 앙상블 기법의 결합입니다.

그들의 연구는 ACM ICAIF FinRL Contest 2023-2024에서 주식 및 암호화폐 거래 과제를 중심으로 진행되었습니다. 연구팀은 GPU의 병렬 처리 능력을 활용하여 앙상블 모델 훈련을 위한 샘플링 속도를 비약적으로 향상시켰습니다. 단일 GPU에서 2,048개의 병렬 환경을 사용하여 기존 단일 환경 대비 최대 1,746배의 속도 향상을 달성한 것입니다! 이는 곧 더 많은 데이터를 빠르게 처리하고 더욱 정교한 모델을 훈련할 수 있음을 의미합니다.

이렇게 훈련된 앙상블 모델은 개별 에이전트의 강점을 결합하여 금융 의사결정 전략의 강건성을 높였습니다. 실험 결과, 앙상블 모델은 높은 누적 수익률을 기록했으며, 일부 개별 에이전트보다 뛰어난 성능을 보였습니다. 특히, 최대 손실(Maximum Drawdown)은 최대 4.17% 감소했고, 샤프 지수(Sharpe Ratio)는 최대 0.21 향상되는 놀라운 결과를 얻었습니다.

이는 단순히 속도 향상을 넘어, 실질적인 투자 성과 향상으로 이어진다는 것을 의미하며, 금융 시장 예측 및 투자 전략 수립에 있어 새로운 가능성을 제시합니다. GPU 기반의 대규모 병렬 시뮬레이션과 앙상블 기법의 결합은 강화학습 기반 금융 알고리즘 개발의 새로운 패러다임을 제시하며, 앞으로 더욱 발전된 AI 기반 금융 시스템 구축에 중요한 이정표가 될 것으로 예상됩니다. 이 연구는 단순한 기술적 발전을 넘어, 보다 안정적이고 수익성 높은 금융 시스템 구축을 향한 중요한 한 걸음으로 평가될 수 있습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Revisiting Ensemble Methods for Stock Trading and Crypto Trading Tasks at ACM ICAIF FinRL Contest 2023-2024

Published:  (Updated: )

Author: Nikolaus Holzer, Keyi Wang, Kairong Xiao, Xiao-Yang Liu Yanglet

http://arxiv.org/abs/2501.10709v1