에너지 기반 접근법으로 열린 집합 활성 학습의 한계를 극복하다: EAOA 프레임워크

Zong과 Huang 연구팀이 개발한 EAOA 프레임워크는 에너지 기반 접근법으로 활성 학습에서의 열린 집합 문제를 해결합니다. EU와 AU를 통합하고 목표 지향적 적응적 샘플링 전략을 사용하여 최첨단 성능과 높은 질의 정확도, 낮은 훈련 오버헤드를 달성했습니다.

AI 학계에 새로운 돌풍을 일으킬 혁신적인 연구가 등장했습니다! Zong과 Huang 연구팀이 발표한 논문, "Rethinking Epistemic and Aleatoric Uncertainty for Active Open-Set Annotation: An Energy-Based Approach"는 활성 학습(Active Learning, AL) 분야의 난제를 해결하는 획기적인 에너지 기반 접근법, EAOA(Energy-based Active Open-set Annotation) 프레임워크를 제시합니다.

활성 학습은 방대한 비표지 데이터에서 모델 훈련에 가장 유용한 데이터를 선택적으로 학습시키는 효율적인 기계 학습 방법입니다. 하지만 알려지지 않은 클래스(열린 집합)가 존재하는 상황에서는 기존의 방법들이 한계를 보였습니다. 기존 방법들은 에피스테믹 불확실성(EU, 모델의 지식 부족)이 낮거나, 알레아토릭 불확실성(AU, 데이터 자체의 불확실성)이 높은 데이터를 선택하는 데 집중했는데, 이는 실제로는 최적의 성능을 내지 못했습니다. 낮은 EU는 유용한 정보가 적다는 것을, 열린 집합에서는 AU 측정 자체가 의미가 없다는 것을 의미하기 때문입니다.

EAOA는 이러한 문제를 어떻게 해결할까요? 핵심은 에너지 기반 접근법을 통해 EU와 AU를 효과적으로 통합한 것입니다. EAOA는 (C+1) 클래스 검출기와 목표 분류기를 사용하며, 검출기에는 에너지 기반 EU 측정과 마진 기반 에너지 손실 함수를, 목표 분류기에는 에너지 기반 AU 측정을 통합합니다.

또한, 목표 지향적 적응적 샘플링 전략이 중요한 역할을 합니다. 먼저 EU 점수가 낮은 후보 집합을 형성하여 열린 집합의 영향을 최소화하고, 그 후 AU 점수가 높은 데이터를 선택적으로 추가하여 최종 질의 집합을 구성합니다. 후보 집합의 크기는 적응적으로 조정됩니다.

결과는 놀랍습니다! EAOA는 최첨단 성능을 달성하면서 동시에 높은 질의 정확도와 낮은 훈련 오버헤드를 유지합니다. GitHub(https://github.com/chenchenzong/EAOA)에서 코드를 확인할 수 있습니다. 이 연구는 열린 집합 문제에 대한 새로운 해결책을 제시하며, 활성 학습 분야의 발전에 크게 기여할 것으로 기대됩니다. 앞으로 이 연구를 기반으로 더욱 발전된 활성 학습 기술들이 등장할 것으로 예상됩니다.