금융 AI 혁명: 사전 학습 모델과 데이터 증류의 만남
Xia Li 등 연구진이 제시한 새로운 프레임워크는 사전 학습된 대규모 모델과 데이터 증류 기법을 결합하여 금융 분야의 표 형태 데이터에 대한 신용평가 성능을 향상시켰습니다. 특히 클래스 불균형 문제를 고려한 데이터 증류 기법을 통해 AUC 지표에서 2.5%의 성능 향상을 달성하여 금융 AI 분야의 혁신을 이끌었습니다.

인공지능(AI)의 발전은 금융 기술, 특히 신용평가 시스템에 혁신을 가져왔습니다. 하지만 고성능 딥러닝 모델에도 불구하고, 트리 기반 모델은 여전히 금융권에서 널리 사용되고 있습니다. 이는 트리 기반 모델이 표 형태의 금융 데이터에 대한 예측력이 뛰어나기 때문입니다.
최근 사전 학습된 대규모 모델들이 등장하면서 금융 분야에서도 질의응답과 같은 특정 작업에 적용되고 있지만, 표 형태의 신용평가 데이터에 대한 활용은 아직 미지의 영역으로 남아있었습니다. Xia Li 등 연구진은 이러한 한계를 극복하고자 TabPFN과 같은 표 데이터 전용 대규모 모델을 활용하여 신용평가에 적용하는 새로운 프레임워크를 제시했습니다. 하지만 TabPFN 역시 제한된 데이터 크기만 처리할 수 있다는 문제점을 가지고 있었습니다.
연구진은 이 문제를 해결하기 위해 표 데이터에 특화된 데이터 증류 기법을 사전 학습 모델과 결합하는 혁신적인 방법을 제안했습니다. 여기서 핵심은 클래스 불균형 문제를 해결하는 것입니다. 금융 데이터는 일반적으로 클래스 불균형을 보이는데, 기존 데이터 증류 기법에서는 이러한 불균형이 고려되지 않았습니다. 연구진은 클래스 불균형을 고려한 데이터 증류 기법을 통합하여 성능을 향상시켰고, 그 결과 AUC 지표에서 2.5%의 성능 향상을 달성했습니다.
이 연구는 대규모 사전 학습 모델을 금융 분야의 표 형태 데이터에 효과적으로 적용하는 새로운 방법론을 제시하고, 클래스 불균형이 데이터 증류 과정에 미치는 영향을 비교 분석했습니다. 이를 통해 금융 분야에서 대규모 모델의 적용 범위와 활용 가능성을 크게 확장할 수 있을 것으로 기대됩니다. 앞으로 금융 AI는 이러한 혁신적인 연구를 통해 더욱 발전하고, 더욱 정교하고 효율적인 신용평가 시스템을 구축할 수 있을 것입니다.
Reference
[arxiv] Class-Imbalanced-Aware Adaptive Dataset Distillation for Scalable Pretrained Model on Credit Scoring
Published: (Updated: )
Author: Xia Li, Hanghang Zheng, Xiao Chen, Hong Liu, Mao Mao
http://arxiv.org/abs/2501.10677v1