숫자 시퀀스 예측의 혁신: 새로운 손실 함수 NTIL 등장!

중국과학원 연구진이 숫자 시퀀스 예측의 정확도를 높이는 새로운 손실 함수 NTIL을 개발했습니다. 토큰 및 시퀀스 레벨에서 작동하며, 대규모 언어 모델과의 통합을 통해 다양한 분야에 적용될 수 있습니다.

자동 회귀 모델은 시퀀스 생성 작업에서 사실상 표준이 되었습니다. 하지만 기존의 접근 방식은 숫자를 독립적인 토큰으로 취급하고 교차 엔트로피 손실을 적용하여 숫자 시퀀스의 일관된 구조를 간과하는 한계를 가지고 있었습니다.

중국과학원(CAS) 소속 연구진 Xiang Fei, Jinghui Lu 외 8명은 이러한 문제를 해결하기 위해 획기적인 연구 결과를 발표했습니다. 그들은 '숫자 토큰 무결성 손실(Numerical Token Integrity Loss, NTIL)' 이라는 새로운 손실 함수를 제안했습니다. NTIL은 숫자 시퀀스의 연속성과 순서를 보존하는 데 초점을 맞춰, 기존 방식의 한계를 극복하고자 합니다.

NTIL은 두 가지 레벨에서 작동합니다.

1. 토큰 레벨: 지구 이동 거리(Earth Mover's Distance, EMD)를 확장하여 숫자 값 사이의 순서 관계를 보존합니다. 이는 각 숫자 토큰이 독립적인 것이 아니라, 서로 연관되어 있음을 고려한 혁신적인 접근입니다.
2. 시퀀스 레벨: 예측된 시퀀스와 실제 시퀀스 사이의 전체적인 불일치를 처벌합니다. 이는 전체 시퀀스의 정확성을 높이는 데 기여합니다.

이러한 이중 접근 방식을 통해 NTIL은 숫자 예측 성능을 향상시키고, 대규모 언어 모델(LLM/MLLM)과 효과적으로 통합될 수 있습니다. 연구진은 광범위한 실험을 통해 NTIL의 성능 향상을 입증했습니다.

이 연구는 숫자 시퀀스 예측 분야에 중요한 기여를 합니다. 기존 모델의 한계를 극복하고, 더욱 정확하고 일관된 숫자 시퀀스 생성을 가능하게 함으로써, 금융 예측, 과학적 시뮬레이션 등 다양한 분야에 긍정적인 영향을 미칠 것으로 기대됩니다. 특히, LLM/MLLM과의 통합은 실제 응용 가능성을 크게 높이는 핵심적인 부분입니다. 앞으로 NTIL을 기반으로 한 더욱 발전된 연구들이 등장할 것으로 예상되며, 자연어 처리 분야의 발전에 큰 기여를 할 것으로 기대됩니다.

참고: 본 기사는 연구 논문 "Advancing Sequential Numerical Prediction in Autoregressive Models"의 내용을 바탕으로 작성되었습니다.