AI 모델의 블랙박스를 벗겨내다: 새로운 해석 가능성 벤치마크 MIB

22명의 연구자들이 개발한 MIB 벤치마크는 AI 모델의 해석 가능성을 평가하는 새로운 기준을 제시합니다. 회로 국재화와 인과 변수 국재화 두 가지 트랙으로 구성된 MIB는 다양한 방법들의 성능 비교를 통해 AI 모델의 투명성과 신뢰성 향상에 기여할 것으로 기대됩니다.

최근 급속한 발전을 거듭하는 인공지능(AI) 모델들은 그 복잡성으로 인해 종종 '블랙박스'로 불립니다. 모델의 내부 작동 원리를 이해하지 못하면, 그 결과에 대한 신뢰도를 확보하기 어렵고, 예측 오류의 원인을 분석하거나 모델을 개선하는 데 어려움을 겪게 됩니다. 이러한 문제를 해결하기 위해, Aaron Mueller를 비롯한 22명의 연구자들은 기계적 해석 가능성(Mechanistic Interpretability) 평가를 위한 새로운 벤치마크, MIB (Mechanistic Interpretability Benchmark) 를 제안했습니다.

MIB는 기존의 해석 가능성 평가 방법들의 한계를 극복하고, 실질적인 개선을 이룬 새로운 방법들을 평가할 수 있도록 설계되었습니다. 특히, 신경망 언어 모델에서 관련 인과 경로 또는 특정 인과 변수를 정확하고 간결하게 복구하는 능력을 중점적으로 평가합니다.

MIB는 크게 두 가지 트랙으로 구성됩니다. 첫 번째는 회로 국재화(Circuit Localization) 트랙으로, 모델의 어떤 부분(그리고 부분들 간의 연결)이 특정 작업 수행에 가장 중요한 역할을 하는지 찾는 방법을 비교합니다. 예를 들어, attribution patching이나 information flow routes와 같은 기법들이 이 트랙에서 평가됩니다. 두 번째는 인과 변수 국재화(Causal Variable Localization) 트랙으로, 숨겨진 벡터(hidden vector)를 특징화하고, 작업과 관련된 인과 변수에 대한 모델의 특징을 찾는 방법을 비교합니다. Sparse Autoencoders (SAEs)나 Distributed Alignment Search (DAS)와 같은 방법들이 여기에 해당됩니다.

연구진은 MIB를 이용하여 다양한 기존 방법들의 성능을 비교 분석했습니다. 그 결과, 회로 국재화 트랙에서는 attribution과 mask optimization 방법이 가장 좋은 성능을 보였습니다. 반면, 인과 변수 국재화 트랙에서는 감독 학습 기반의 DAS 방법이 가장 우수한 성능을 나타냈으며, SAE 특징은 표준 차원의 숨겨진 벡터(neurons)보다 나은 성능을 보이지 못했습니다.

이번 연구는 MIB가 기계적 해석 가능성 방법들의 의미 있는 비교를 가능하게 하고, 이 분야의 실질적인 발전에 대한 신뢰도를 높였다는 점에서 중요한 의미를 가집니다. MIB는 AI 모델의 블랙박스를 벗기고, 더욱 투명하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다. 향후 연구에서는 MIB를 활용하여 더욱 다양한 방법들을 평가하고, AI 모델의 해석 가능성을 향상시키기 위한 새로운 접근법을 모색할 필요가 있습니다. 특히, 인과 변수 국재화 트랙에서 SAE의 성능 향상을 위한 연구가 중요한 과제로 제시됩니다.