🚨 좩격! XAI의 핡심 μ§€ν‘œ SHAP 점수, κ΄‘λ²”μœ„ν•œ 였λ₯˜ 발견! 🚨


졜근 연ꡬ에 λ”°λ₯΄λ©΄ XAIμ—μ„œ 널리 μ‚¬μš©λ˜λŠ” SHAP μ μˆ˜κ°€ λΆ€μšΈ λΆ„λ₯˜κΈ°μ™€ νšŒκ·€ λͺ¨λΈ λͺ¨λ‘μ—μ„œ κ΄‘λ²”μœ„ν•œ 였λ₯˜λ₯Ό 보이며, 심지어 Lipschitz 연속성을 λ§Œμ‘±ν•˜λŠ” λͺ¨λΈμ—μ„œλ„ λ¬Έμ œκ°€ λ°œμƒν•˜λŠ” κ²ƒμœΌλ‘œ λ‚˜νƒ€λ‚¬μŠ΅λ‹ˆλ‹€. μ΄λŠ” SHAP 점수의 신뒰성에 λŒ€ν•œ μ‹¬κ°ν•œ μ˜λ¬Έμ„ μ œκΈ°ν•˜λ©°, XAI λΆ„μ•Όμ˜ μƒˆλ‘œμš΄ μ ‘κ·Ό 방식이 ν•„μš”ν•¨μ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.

related iamge

XAI의 핡심, SHAP 점수의 λΆˆμ•ˆμ •μ„±: 연ꡬ κ²°κ³Όκ°€ λ“œλŸ¬λ‚Έ 좩격적인 μ§„μ‹€

μ„€λͺ… κ°€λŠ₯ν•œ AI (XAI) λΆ„μ•Όμ—μ„œ 널리 μ‚¬μš©λ˜λŠ” SHAP(SHapley Additive exPlanations) 점수. κ·Έ μœ μš©μ„±μ—λ„ λΆˆκ΅¬ν•˜κ³ , 졜근 Olivier Letoffe, Xuanxiang Huang, Joao Marques-Silva μ„Έ μ—°κ΅¬μžμ˜ 논문이 SHAP 점수의 μ‹¬κ°ν•œ λ¬Έμ œμ μ„ λ°ν˜€ 좩격을 μ£Όκ³  μžˆμŠ΅λ‹ˆλ‹€.

κΈ°μ‘΄ μ—°κ΅¬μ˜ ν•œκ³„λ₯Ό λ„˜μ–΄μ„  μƒˆλ‘œμš΄ 발견

κΈ°μ‘΄ μ—°κ΅¬μ—μ„œλŠ” νŠΉμ • μ˜ˆμ‹œλ₯Ό 톡해 SHAP 점수의 뢀정확성을 μ§€μ ν–ˆμ§€λ§Œ, μΈμœ„μ μΈ μ˜ˆμ‹œμ— λΆˆκ³Όν•˜κ±°λ‚˜ νŠΉμ • 쑰건에 κ΅­ν•œλœλ‹€λŠ” λΉ„νŒμ΄ μžˆμ—ˆμŠ΅λ‹ˆλ‹€. ν•˜μ§€λ§Œ 이번 μ—°κ΅¬λŠ” μ΄λŸ¬ν•œ λΉ„νŒμ„ μ™„μ „νžˆ λ’€μ§‘μŠ΅λ‹ˆλ‹€. 연ꡬ진은 λΆ€μšΈ λΆ„λ₯˜κΈ°μ—μ„œ μž„μ˜λ‘œ λ§Žμ€ μ˜ˆμ‹œλ₯Ό μƒμ„±ν•˜μ—¬ SHAP 점수의 뢀정확성을 증λͺ…ν–ˆμŠ΅λ‹ˆλ‹€. 더 λ‚˜μ•„κ°€, νšŒκ·€ λͺ¨λΈμ—μ„œλ„ λ™μΌν•œ λ¬Έμ œκ°€ λ°œμƒν•¨μ„ λ°ν˜€λƒˆμŠ΅λ‹ˆλ‹€.

Lipschitz 연속성, κ·Έ μ˜λ―Έμ™€ ν•œκ³„

특히 μ£Όλͺ©ν•  점은, Lipschitz 연속성을 λ§Œμ‘±ν•˜λŠ” νšŒκ·€ λͺ¨λΈμ—μ„œλ„ SHAP 점수의 였λ₯˜κ°€ λ°œμƒν•œλ‹€λŠ” μ‚¬μ‹€μž…λ‹ˆλ‹€. Lipschitz 연속성은 ν•¨μˆ˜μ˜ λ³€ν™”μœ¨μ„ μΈ‘μ •ν•˜λŠ” μ§€ν‘œλ‘œ, 졜근 λ¨Έμ‹ λŸ¬λ‹ λΆ„μ•Όμ—μ„œ λͺ¨λΈμ˜ 강건성을 ν‰κ°€ν•˜λŠ” 데 μ€‘μš”ν•˜κ²Œ ν™œμš©λ˜κ³  μžˆμŠ΅λ‹ˆλ‹€. 즉, μ•ˆμ •μ μ΄κ³  κ²¬κ³ ν•œ λͺ¨λΈλ‘œ μ—¬κ²¨μ§€λŠ” Lipschitz 연속성을 λ§Œμ‘±ν•˜λŠ” λͺ¨λΈμ—μ„œμ‘°μ°¨ SHAP μ μˆ˜κ°€ μ‹€νŒ¨ν•œλ‹€λŠ” 것은, SHAP 점수의 신뒰성에 λŒ€ν•œ μ‹¬κ°ν•œ μ˜λ¬Έμ„ μ œκΈ°ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€. 뿐만 μ•„λ‹ˆλΌ, μž„μ˜λ‘œ λ―ΈλΆ„ κ°€λŠ₯ν•œ νšŒκ·€ λͺ¨λΈμ—μ„œλ„ 같은 λ¬Έμ œκ°€ λ°œμƒν•œλ‹€λŠ” 사싀이 ν™•μΈλ˜μ—ˆμŠ΅λ‹ˆλ‹€.

κ²°λ‘ : SHAP μ μˆ˜μ— λŒ€ν•œ μž¬κ³ μ™€ μƒˆλ‘œμš΄ μ ‘κ·Ό ν•„μš”

이번 연ꡬ κ²°κ³ΌλŠ” SHAP 점수λ₯Ό XAI의 핡심 μ§€ν‘œλ‘œ μ‚¬μš©ν•˜λŠ” 데 μžˆμ–΄ μ‹¬κ°ν•œ λ¬Έμ œμ μ„ μ œκΈ°ν•©λ‹ˆλ‹€. SHAP 점수의 κ΄‘λ²”μœ„ν•œ 였λ₯˜ κ°€λŠ₯성은 XAI 기술의 신뒰도에 λŒ€ν•œ μ˜λ¬Έμ„ λΆˆλŸ¬μΌμœΌν‚€λ©°, λ”μš± μ‹ λ’°ν•  수 있고 μ •ν™•ν•œ μ„€λͺ… κ°€λŠ₯μ„± λ°©λ²•λ‘ μ˜ 개발 ν•„μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€. XAI λΆ„μ•Όμ˜ μ—°κ΅¬μžλ“€μ€ SHAP μ μˆ˜μ— λŒ€ν•œ μ˜μ‘΄λ„λ₯Ό 쀄이고, λ”μš± κ²¬κ³ ν•˜κ³  μ •ν™•ν•œ μ„€λͺ… κ°€λŠ₯μ„± κΈ°μˆ μ„ κ°œλ°œν•˜κΈ° μœ„ν•œ λ…Έλ ₯을 κ°•ν™”ν•΄μ•Ό ν•  κ²ƒμž…λ‹ˆλ‹€. SHAP 점수의 ν•œκ³„λ₯Ό μΈμ§€ν•˜κ³ , λ‹€μ–‘ν•œ 상황에 μ ν•©ν•œ μƒˆλ‘œμš΄ μ„€λͺ… κ°€λŠ₯μ„± 방법을 νƒμƒ‰ν•˜λŠ” 것이 μ•žμœΌλ‘œμ˜ κ³Όμ œμž…λ‹ˆλ‹€.


*이 κΈ°μ‚¬λŠ” AIκ°€ μƒμ„±ν•œ λ‚΄μš©μœΌλ‘œ, 일뢀 정보가 μ‹€μ œμ™€ λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€. μ •ν™•ν•œ 확인을 μœ„ν•΄ 좔가적인 검증을 ꢌμž₯λ“œλ¦½λ‹ˆλ‹€.

Reference

[arxiv] SHAP scores fail pervasively even when Lipschitz succeeds

Published: Β (Updated: )

Author: Olivier Letoffe, Xuanxiang Huang, Joao Marques-Silva

http://arxiv.org/abs/2412.13866v1