딥러닝의 한계를 뛰어넘는 APAR: 표 데이터 회귀 분석의 새로운 지평
APAR 프레임워크는 표 데이터의 불규칙적인 표적 함수 문제를 해결하기 위해 산술 연산 인식 사전 학습과 적응적 정규화 미세 조정을 결합한 새로운 접근 방식입니다. 10개 데이터 세트에 대한 실험 결과, 기존 방법 대비 RMSE를 9.43%~20.37% 향상시켰으며, 코드와 데이터 또한 공개되어 뛰어난 접근성을 자랑합니다.

금융, 유전체학, 의료 등 다양한 분야에서 핵심적인 역할을 하는 표 데이터. 하지만 표 데이터의 회귀 분석에서는 딥러닝(DL) 모델이 기존 머신러닝(ML) 모델보다 항상 우월한 성능을 보이는 것은 아닙니다. 왜일까요? 그 이유는 바로 표 데이터 고유의 불규칙적인 표적 함수 때문입니다. 특징의 미세한 변화에도 민감하게 레이블이 바뀌는 현상이 이러한 어려움을 야기합니다.
홍-웨이 우(Hong-Wei Wu) 박사를 비롯한 연구팀은 이러한 문제를 해결하기 위해 APAR(Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning) 프레임워크를 제안했습니다. APAR은 불규칙적인 표적 함수를 가진 표 데이터에 적합하도록 설계되었으며, 과적합의 부정적 영향을 줄이는 데 초점을 맞추고 있습니다.
APAR의 핵심은 두 가지 단계에 있습니다.
- 사전 학습(Pre-training): APAR은 산술 연산 인식 전이 학습 목표를 도입하여 연속적인 레이블의 관점에서 복잡한 샘플 간 관계를 포착합니다. 이는 딥러닝 모델이 데이터의 복잡한 구조를 더욱 잘 이해하도록 돕는 핵심 전략입니다.
- 미세 조정(Fine-tuning): 일관성 기반의 적응적 정규화 기법을 통해 모델은 데이터 증강을 스스로 학습합니다. 이는 모델의 일반화 능력을 향상시켜 과적합을 효과적으로 방지합니다.
10개의 데이터 세트에 대한 광범위한 실험 결과, APAR은 기존의 GBDT, 지도 학습 기반 신경망, 그리고 사전 학습-미세 조정 기반 신경망 방식보다 RMSE(Root Mean Squared Error)를 9.43%~20.37%까지 개선했습니다. 이는 APAR의 사전 학습 과정, 특히 산술 연산 연구의 효과를 실증적으로 입증하는 결과입니다. 더욱 놀라운 점은, 연구팀이 사용한 코드와 데이터를 깃허브(https://github.com/johnnyhwu/APAR)에서 공개적으로 제공하고 있다는 것입니다.
APAR은 표 데이터 회귀 분석 분야에 새로운 가능성을 제시하며, 앞으로 더욱 다양한 응용 분야에서 활용될 것으로 기대됩니다. 이 연구는 불규칙적인 데이터에 대한 딥러닝 모델의 적용 가능성을 확장하고, 보다 정확하고 효율적인 예측 모델 개발에 기여할 것입니다. 단순한 기술적 발전을 넘어, 실제 응용 분야에 대한 긍정적인 영향을 미칠 수 있는 혁신적인 연구라고 할 수 있습니다.
Reference
[arxiv] APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning
Published: (Updated: )
Author: Hong-Wei Wu, Wei-Yao Wang, Kuang-Da Wang, Wen-Chih Peng
http://arxiv.org/abs/2412.10941v1