혁신적인 AI 설명 가능성: SPEX로 거대 언어 모델의 비밀을 풀다

SPEX는 긴 입력 길이에도 효율적으로 LLM의 특징 상호 작용을 설명하는 혁신적인 알고리즘입니다. 실제 데이터의 희소성을 활용하고, 다양한 데이터셋에서 우수한 성능을 보이며, AI의 설명 가능성을 높이는 데 크게 기여할 것으로 기대됩니다.

최근 몇 년 동안 거대 언어 모델(LLM)은 인공지능 분야의 혁명을 일으켰습니다. 하지만 이러한 모델의 결정 과정은 블랙박스처럼 불투명하여, 그 내부 작동 원리를 이해하는 데 어려움이 있었습니다. 입력 특징 간의 복잡한 상호 작용을 포착하는 LLM의 능력은 놀랍지만, 이러한 상호 작용을 명확하게 설명하는 것은 여전히 난제였습니다.

기존의 SHAP과 같은 방법들은 한계가 있었습니다. 특히 입력 길이가 길어질수록(약 20개 이상) 상호 작용 중요도를 효과적으로 계산하는 데 어려움을 겪었습니다.

하지만 이제 희망이 있습니다. Justin Singh Kang을 비롯한 연구팀이 개발한 SPEX(Spectral Explainer) 는 이러한 문제를 해결하는 획기적인 방법입니다. SPEX는 모델 독립적인 상호 작용 속성 알고리즘으로, 약 1000개에 달하는 긴 입력 길이에도 효율적으로 확장됩니다. 비결은 무엇일까요?

SPEX는 실제 데이터에서 흔히 발견되는 특징 상호 작용의 희소성을 이용합니다. 희소 푸리에 변환과 채널 디코딩 알고리즘을 적용하여 중요한 상호 작용을 효율적으로 식별하는 것이죠. 이는 마치 복잡한 퍼즐에서 중요한 조각만 골라내는 것과 같습니다.

연구팀은 HotpotQA를 포함한 세 가지 어려운 장문 컨텍스트 데이터셋을 통해 SPEX의 성능을 평가했습니다. 그 결과, 긴 입력에 대해 SPEX는 기존의 방법들보다 최대 20%까지 LLM 출력을 정확하게 재구성하는 데 뛰어난 성능을 보였습니다. 뿐만 아니라, 모델 출력에 큰 영향을 미치는 주요 특징과 상호 작용을 성공적으로 식별했습니다. 특히 HotpotQA 데이터셋에서는 인간의 주석과 일치하는 상호 작용을 제공했습니다.

더 나아가, SPEX의 모델 독립적인 특성을 활용하여 폐쇄형 LLM(GPT-4o mini)의 추상적 추론과 시각 언어 모델의 구성적 추론을 설명하는 데에도 성공했습니다. 이는 마치 AI의 '블랙박스'를 열고 그 내부 작동 원리를 들여다볼 수 있게 된 것과 같습니다.

SPEX는 AI 설명 가능성 분야에 새로운 이정표를 세웠습니다. 복잡한 AI 모델의 작동 방식을 이해하고 신뢰도를 높이는 데 크게 기여할 것으로 기대됩니다. 앞으로 더욱 발전된 SPEX를 통해 AI의 투명성과 신뢰성을 확보하고, 인간과 AI의 공존을 위한 발걸음을 더욱 빨리 내딛을 수 있을 것입니다.