상식적 타당성 평가의 혁신: 의미 변화 측정으로 AI의 한계 극복

본 기사는 중국과학원 자동화연구소의 연구팀이 개발한 ComPaSS라는 새로운 상식적 타당성 평가 프레임워크에 대해 소개합니다. ComPaSS는 문장에 상식 정보를 추가했을 때 발생하는 의미 변화를 측정하여 상식적 타당성을 평가하며, 기존 방식보다 우수한 성능을 보입니다. 특히 시각-언어 모델(VLM)과 대조 학습의 효과가 강조됩니다.

상식, AI에게도 넘을 수 없는 벽인가?

인공지능(AI) 언어 모델의 발전은 놀랍지만, 여전히 '상식'이라는 벽에 부딪힙니다. 사람에게는 자명한 상식이 AI에게는 어려운 문제가 되는 경우가 많죠. 그래서 AI의 성능을 평가하는 데 '상식적 타당성' 평가는 매우 중요합니다. 기존의 방법들은 확률이나 사람의 판단에 의존하여 미묘한 차이를 구분하는 데 어려움을 겪어왔습니다.

ComPaSS: 의미 변화로 상식을 측정하다

중국과학원 자동화연구소의 Cui Wanqing 박사 연구팀은 이러한 한계를 극복하기 위해 새로운 평가 프레임워크 ComPaSS를 개발했습니다. ComPaSS는 문장에 상식 관련 정보를 추가했을 때 의미 변화의 정도를 측정하여 상식적 타당성을 정량적으로 평가합니다. 상식적으로 타당한 정보 추가는 의미 변화가 거의 없지만, 타당하지 않은 정보는 큰 의미 변화를 가져오는 것이죠. 마치 물에 돌을 던졌을 때 파장이 크냐 작냐로 상식의 타당성을 판단하는 것과 같습니다.

LLM vs. VLM: 시각 정보의 힘

연구팀은 다양한 언어 모델(LLMs)과 시각-언어 모델(VLMs)을 사용하여 ComPaSS를 평가했습니다. 그 결과, ComPaSS는 기존 방법들을 꾸준히 능가하는 성능을 보였습니다. 특히, 시각 정보를 활용하는 VLM이 ComPaSS와 결합되었을 때 시각적 상식 과제에서 뛰어난 성능을 보였다는 점은 주목할 만합니다. 이는 시각 정보가 상식적 이해에 중요한 역할을 한다는 것을 시사합니다.

대조 학습: 더 날카로운 의미 파악

또한, 연구팀은 대조 학습 기반 사전 훈련이 모델의 의미를 더욱 정교하게 파악하는 능력을 향상시키고, 결과적으로 ComPaSS의 성능을 더욱 높인다는 것을 발견했습니다. 이는 마치 연필로 그림을 그리는 것보다 붓으로 그리는 것이 더 세밀한 표현을 가능하게 하는 것과 유사합니다. AI 모델의 '붓'을 더욱 정교하게 만들어 상식적 이해를 향상시킨 것이죠.

결론: 상식적 AI를 향한 한 걸음

ComPaSS는 AI의 상식적 타당성 평가에 있어 혁신적인 접근 방식을 제시하며, AI의 한계를 극복하고 더욱 발전된 상식적 AI 개발에 기여할 것으로 기대됩니다. 이 연구는 LLM과 VLM의 성능 차이와 대조 학습의 효과를 보여줌으로써, AI 연구의 새로운 방향을 제시하고 있습니다. 앞으로 ComPaSS가 AI의 상식적 이해 향상에 어떻게 기여할지 주목해 볼 필요가 있습니다. 이는 AI가 인간처럼 세상을 이해하고 상호작용하는 데 한층 더 가까워지는 것을 의미합니다.