그래프에서의 이상치 탐지: 이질적 그래프를 위한 혁신적인 에너지 기반 모델, DeGEM

Chen Yuhan 등 연구진이 개발한 DeGEM은 그래프 기반 학습에서의 이상치 탐지 문제를 해결하기 위해 에너지 기반 모델을 개선한 혁신적인 모델입니다. 기존 모델의 한계를 극복하고, 특히 이질적 그래프에서 탁월한 성능을 보이며, OOD 데이터 노출 없이도 최첨단 성능을 달성했습니다.

이미지 분야에서의 이상치 탐지(Out-of-Distribution, OOD) 연구는 활발하지만, 그래프 기반 학습에서는 여전히 미개척 분야로 남아 있습니다. Chen Yuhan 등 연구진은 최근 논문에서 이러한 한계를 극복하기 위한 혁신적인 에너지 기반 모델, DeGEM(Decoupled Graph Energy-based Model) 을 제시했습니다.

기존의 GNNSafe 모델은 그래프 노드 간의 의존성을 고려했지만, 두 가지 중요한 문제점을 가지고 있었습니다. 첫째, 분포 모델링에 특화된 훈련 없이 분류 로그릿에서 노드 에너지를 도출하여 OOD 데이터 인식에 비효율적이었습니다. 둘째, 이질성 그래프(heterophilic graphs)에서 이웃 노드와의 유사성을 가정하는 에너지 전파에 크게 의존하여 성능 저하를 야기했습니다. 이질성 그래프는 노드들이 이웃 노드와 다른 분포를 가지는 그래프를 의미합니다.

DeGEM은 이러한 문제점을 해결하기 위해 두 가지 핵심 전략을 도입했습니다. 첫째, 최대 우도 추정(MLE)을 통해 EBM(Energy-Based Model)을 훈련하여 데이터 분포 모델링을 강화했습니다. 둘째, 에너지 전파를 제거하여 이질성 그래프 문제를 해결했습니다. 하지만, MLE를 통한 EBM 훈련은 노드 특징과 이웃 노드에 대한 MCMC(Markov Chain Monte Carlo) 샘플링을 필요로 하며, 노드 상호 의존성과 이산적인 그래프 구조로 인해 어려움을 겪습니다.

연구진은 이러한 샘플링 과제를 해결하기 위해 DeGEM에서 학습 과정을 두 부분으로 분해했습니다. 그래프 인코더(graph encoder) 는 토폴로지 정보를 활용하여 노드 표현을 생성하고, 에너지 헤드(energy head) 는 잠재 공간에서 동작합니다. 이러한 분리된 학습 전략을 통해 효율성을 높이고 성능을 향상시켰습니다.

실험 결과, DeGEM은 OOD 데이터를 훈련에 사용하지 않고도 기존 최첨단 방법들을 능가하는 성능을 보였습니다. 동질성 그래프에서는 평균 AUROC(Area Under the Receiver Operating Characteristic curve)가 6.71% 향상되었고, 이질성 그래프에서는 무려 20.29%나 향상되었습니다. 심지어 OOD 데이터를 훈련에 사용한 방법들보다도 더 나은 성능을 보였습니다. DeGEM의 코드는 GitHub에서 확인할 수 있습니다.

이 연구는 그래프 기반 학습에서의 OOD 검출 분야에 중요한 발전을 가져왔으며, 앞으로 더욱 발전된 이상치 탐지 기술 개발에 기여할 것으로 기대됩니다.