다중 모달 학습의 균형을 맞추는 새로운 방법: 균형 인식 시퀀스 샘플링 (BSS)
Guan Zhi-Hao가 제안한 균형 인식 시퀀스 샘플링(BSS)은 다중 모달 학습(MML)에서 데이터 이질성으로 인한 모달 불균형 문제를 해결하기 위해 샘플 순서를 고려한 새로운 방법입니다. 커리큘럼 학습 기반의 휴리스틱 스케줄러와 에포크 단위 학습 기반 확률적 샘플링을 통해 샘플 균형을 동적으로 조절하며, 다양한 데이터셋에서 최첨단 성능을 달성했습니다.

다중 모달 학습의 난제: 모달 불균형
데이터의 이질성으로 인한 모달 불균형은 다중 모달 학습(MML)의 오랜 난제였습니다. 기존의 MML 방법들은 최적화 목표에 집중하여 이 문제를 해결하려 했지만, 샘플 순서(Sequence) 의 중요성은 간과해 왔습니다. 잘못된 훈련 순서는 모델에 학습 편향을 일으켜 모달 불균형을 더욱 악화시킬 수 있기 때문입니다.
균형 인식 시퀀스 샘플링(BSS): 혁신적인 해결책
Guan Zhi-Hao는 이 문제를 해결하기 위해 균형 인식 시퀀스 샘플링(BSS) 을 제안했습니다. BSS는 샘플의 균형 정도를 다각적으로 평가하는 측정기를 사용합니다. 이를 통해 커리큘럼 학습(CL) 기반의 휴리스틱 스케줄러는 균형 잡힌 샘플부터 시작하여 점진적으로 불균형 샘플을 학습에 포함시킴으로써 MML의 균형을 맞춥니다.
하지만, 모델의 성능이 향상됨에 따라 샘플의 균형도 변화할 수 있습니다. BSS는 이러한 점을 고려하여 에포크 단위로 학습 기반 확률적 샘플링을 적용합니다. 즉, 모델 학습 과정에서 샘플 순서를 동적으로 조정하여 최적의 학습 효과를 유지하는 것입니다.
실험 결과: 최첨단 성능 입증
다양한 데이터셋을 이용한 광범위한 실험 결과, BSS는 기존의 최첨단(SOTA) MML 방법들을 능가하는 성능을 보였습니다. 이는 BSS가 모달 불균형 문제를 효과적으로 해결하고 MML의 강건성을 향상시켰음을 의미합니다.
결론: 새로운 가능성을 여는 BSS
BSS는 MML 분야에 새로운 가능성을 제시합니다. 단순히 최적화 목표만을 고려하는 기존 방식에서 벗어나, 샘플 순서의 중요성을 고려하고 동적으로 학습 과정을 조절함으로써 MML의 성능과 안정성을 크게 향상시켰습니다. 앞으로 BSS를 기반으로 한 다양한 연구가 이어질 것으로 기대됩니다. 이는 다중 모달 학습의 발전에 중요한 기여를 할 것입니다.
Reference
[arxiv] Balance-aware Sequence Sampling Makes Multi-modal Learning Better
Published: (Updated: )
Author: Zhi-Hao Guan
http://arxiv.org/abs/2501.01470v1