모든 곳, 모든 것, 한꺼번에: 기계적 해석 가능성은 식별 가능한가?

Maxime Méloux 등 연구진은 AI의 기계적 해석 가능성(MI)에 대한 연구를 통해, MI 설명의 고유성이 보장되지 않음을 밝혔습니다. 'where-then-what'과 'what-then-where' 두 가지 전략을 비교 분석하여 체계적인 비식별성을 확인하였으며, 예측 및 조작 가능성과 고유성의 필요성에 대한 논의를 제시했습니다. 이 연구는 AI 설명 표준 정립에 중요한 기여를 할 것으로 기대됩니다.

고위험 애플리케이션에서 AI 시스템이 사용됨에 따라 해석 가능성을 보장하는 것이 매우 중요해졌습니다. 기계적 해석 가능성(MI, Mechanistic Interpretability)은 신경망의 동작을 설명하기 위해 인간이 이해할 수 있는 알고리즘을 추출하여 역설계하는 것을 목표로 합니다. Maxime Méloux 등의 연구진은 최근 논문 "Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?" 에서 핵심적인 질문을 제기합니다. 주어진 행동에 대해, 그리고 MI의 기준 하에서 고유한 설명이 존재하는가?

연구진은 통계학에서 특정 가정 하에 매개변수가 고유하게 추론되는 식별 가능성(identifiability) 개념을 MI 설명에 적용했습니다. 그 결과 두 가지 주요 MI 전략을 확인했습니다.

1. 'where-then-what': 모델 행동을 복제하는 회로를 격리한 후 해석하는 전략
2. 'what-then-where': 후보 알고리즘으로 시작하여 인과적 정렬(causal alignment)을 사용하여 이를 구현하는 신경 활성화 부분 공간을 검색하는 전략

부울 함수와 소규모 다층 퍼셉트론을 사용하여 후보 설명을 완전히 열거하는 실험을 수행했습니다. 그 결과는 놀라웠습니다. 체계적인 비식별성이 드러났습니다. 즉, 여러 회로가 동일한 행동을 재현할 수 있으며, 하나의 회로는 여러 해석을 가질 수 있습니다. 또한, 여러 알고리즘이 네트워크와 정렬될 수 있고, 하나의 알고리즘이 서로 다른 부분 공간과 정렬될 수 있습니다.

그렇다면 고유성은 정말 필요할까요? 실용적인 접근 방식은 예측 및 조작 가능성 표준만 충족하면 충분할 수 있습니다. 하지만 이해를 위해 고유성이 필수적이라면 더 엄격한 기준이 필요할 것입니다. 연구진은 다중 기준을 통해 설명의 유효성을 검증하는 내부 해석 가능성 프레임워크도 언급하며, AI 설명 표준을 정의하는 데 기여하고 있습니다. 이 연구는 AI 해석 가능성에 대한 우리의 이해를 심화시키고, 앞으로 더욱 발전된 해석 방법론의 개발을 위한 중요한 발걸음이 될 것입니다. 이 연구는 단순히 기술적인 문제를 넘어, AI 시스템의 투명성과 신뢰성을 확보하는 데 중요한 함의를 지닙니다. 앞으로 어떤 연구 결과가 나올지 기대하며, AI의 윤리적이고 책임감 있는 발전을 위해 지속적인 관심과 노력이 필요합니다.