난해한 AI 모델, 그럼에도 과학적 이해를 위한 해석은 가능할까? - 사후 해석 가능성을 옹호하며
Nick Oh의 논문 "In Defence of Post-hoc Explainability"는 과학적 AI의 사후 해석 가능성을 위한 새로운 철학적 틀인 계산적 해석주의(CI)를 제시합니다. 인간 전문가의 사후 합리화 과정에 착안하여, 구조화된 모델 해석과 경험적 검증을 통해 복잡한 AI 모델의 불투명성에도 불구하고 과학적 이해를 얻을 수 있음을 주장합니다.

과학 연구에 머신러닝이 널리 도입되면서 모델의 불투명성과 과학적 이해 사이의 긴장이 커지고 있습니다. 일부는 본질적으로 해석 가능한 모델을 주장하지만, Nick Oh는 그의 논문 "In Defence of Post-hoc Explainability" 에서 과학적 AI의 사후 해석 가능성을 위한 철학적 틀인 계산적 해석주의(CI) 를 제시합니다.
이 논문의 핵심은 인간 전문가의 사후 합리화 과정에 있습니다. 전문가들은 항상 모든 의사결정 과정을 완벽히 설명할 수 있는 것은 아닙니다. 하지만 그들의 결정은 종종 뛰어난 결과를 가져오며, 사후에 그 과정을 설명하고 정당화하는 과정을 거칩니다. CI는 이러한 인간의 전문성과 유사하게, 과학적 지식은 구조화된 모델 해석을 통해 얻어진다고 주장합니다. 단순히 모델의 내부 작동 방식을 완전히 이해하는 것이 아니라, 모델의 출력과 결과를 분석하고 해석하여 과학적 의미를 도출하는 것입니다.
하지만 이러한 해석은 경험적 검증이라는 엄격한 기준을 통과해야 합니다. 단순한 사후 합리화가 아니라, 실제 데이터와 실험 결과를 바탕으로 그 해석의 타당성을 입증해야 합니다. 이를 통해 제한된 사실성(bounded factivity) 을 확보하여, 과도한 일반화나 오류를 방지할 수 있습니다.
결론적으로, Oh의 논문은 복잡한 AI 모델의 완전한 기계적 투명성 없이도, 매개된 이해(mediated understanding) 와 제한된 사실성을 통해 사후 해석 방법이 인식론적으로 정당한 통찰력을 제공할 수 있음을 보여줍니다. 이는 모델의 복잡성과 과학적 이해 사이의 긴장을 해소하는 데 중요한 전환점이 될 수 있습니다. AI 모델의 '블랙박스' 성격에 대한 우려를 해소하고, 과학적 연구에 AI를 더욱 효과적으로 활용할 수 있는 길을 제시하는 획기적인 연구라고 할 수 있습니다.
Reference
[arxiv] In Defence of Post-hoc Explainability
Published: (Updated: )
Author: Nick Oh
http://arxiv.org/abs/2412.17883v1