딥러닝 모델, 시각적 불확실성 앞에 무너지다? 유추 추론 능력 평가 결과 공개!

대규모 추론 모델(LRM)의 유추 추론 능력에 대한 평가 연구에서 시각적 불확실성이 모델 성능에 큰 영향을 미치는 것으로 나타났습니다. OpenAI의 o3-mini와 DeepSeek R1은 불확실성이 증가함에 따라 성능이 급격히 저하되었지만, 신경 기호 확률적 귀납 모델인 ARLC는 강건한 성능을 유지했습니다. 이 연구는 LRM의 한계와 향후 AI 시스템 개발 방향에 대한 시사점을 제공합니다.

딥러닝 모델의 유추 추론 능력, 시각적 불확실성에 얼마나 취약할까요?

최근 Giacomo Camposampiero를 비롯한 연구진이 발표한 논문 "Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?"는 주목할 만한 결과를 제시합니다. 연구진은 OpenAI의 o3-mini와 DeepSeek R1이라는 두 가지 최첨단 대규모 추론 모델(LRM)을 사용하여 래번의 점진적 행렬(Raven's Progressive Matrices)에 기반한 비언어적 인간 지능 검사를 평가했습니다. 이 검사는 유추 추론 능력을 측정하는 대표적인 도구입니다.

연구진은 I-RAVEN 데이터셋과 더 어려운 확장 버전인 I-RAVEN-X를 사용했습니다. I-RAVEN-X는 더 긴 추론 규칙과 더 넓은 범위의 속성 값에 대한 일반화 능력을 평가합니다. 핵심은 여기서 시각적 불확실성을 고려했다는 점입니다. 완벽한 시각 정보를 가정하는 기존 I-RAVEN-X 데이터셋을 확장하여 시각적 불확실성을 시뮬레이션하기 위해 두 가지 전략을 사용했습니다.

1. 무작위로 선택된 혼란 변수 도입: 정답 예측에 기여하지 않는 변수를 추가하여 시각적 노이즈를 모방했습니다.
2. 입력 속성 값 분포의 평활화: 입력 데이터의 불확실성을 높였습니다.

실험 결과는 놀라웠습니다. OpenAI의 o3-mini는 원래 I-RAVEN 데이터셋에서는 86.6%의 정확도를 보였지만, I-RAVEN-X에서는 불과 17.0%로 떨어졌습니다. 이는 거의 무작위 추측 수준입니다. 추론 토큰 사용량은 3.4배나 증가했음에도 불구하고 성능은 급격히 저하되었습니다. DeepSeek R1도 유사한 경향을 보였습니다 (80.6%에서 23.2%로 감소). 이는 LRM이 시각적 불확실성에 매우 취약함을 시사합니다.

반면, I-RAVEN에서 최첨단 성능을 달성한 신경 기호 확률적 귀납 모델인 ARLC은 이러한 불확실성에도 강건한 성능을 유지했습니다. 정확도는 98.6%에서 88.0%로 다소 감소했지만, 여전히 높은 수준을 유지했습니다.

이 연구는 LRM의 한계를 보여주는 동시에, 다른 접근 방식의 가능성을 제시합니다. ARLC의 강건성은 향후 더욱 복잡하고 불확실한 환경에서 작동하는 AI 시스템 개발에 중요한 시사점을 제공합니다. 연구 코드는 https://github.com/IBM/raven-large-language-models 에서 확인할 수 있습니다.