NeSyCoCo: 구성적 일반화를 위한 신경상징 개념 조합기


본 기사는 구성적 일반화를 위한 새로운 신경상징 프레임워크 NeSyCoCo를 소개합니다. NeSyCoCo는 대규모 언어 모델을 활용하여 상징적 표현을 생성하고, 기존 방식의 한계를 극복하여 ReaSCAN 및 CLEVR-CoGenT 벤치마크에서 최첨단 결과를 달성했습니다.

related iamge

인공지능의 새로운 지평을 열다: NeSyCoCo

복잡한 시각-언어 추론 과제를 해결하는 데 있어 구성적 일반화(Compositional Generalization) 는 인공지능 에이전트에게 필수적입니다. 신경상징 접근 방식은 구성적 구조를 포착하는 데 유망함을 보여주었지만, (a) 적응성을 제한하는 미리 정의된 술어에 대한 의존성, (b) 원시 데이터에서 술어를 추출하는 어려움, (c) 원시 개념을 결합하기 위한 비미분 연산 사용 등의 중요한 과제에 직면해 왔습니다.

이러한 문제를 해결하기 위해, Danial Kamali, Elham J. Barezi, Parisa Kordjamshidi 연구팀은 NeSyCoCo라는 혁신적인 신경상징 프레임워크를 제안했습니다. NeSyCoCo는 대규모 언어 모델(LLM) 을 활용하여 상징적 표현을 생성하고 이를 미분 가능한 신경망 계산에 매핑합니다.

NeSyCoCo는 세 가지 혁신적인 요소를 도입합니다.

  1. 의존 구조 강화: 자연어 입력에 의존 구조를 추가하여 상징적 표현과의 정렬을 향상시킵니다. 이는 언어의 구조적 이해를 통해 더욱 정확한 상징적 표현을 생성하는 데 기여합니다.
  2. 분산된 단어 표현: 다양하고 언어적으로 동기를 가진 논리적 술어를 신경 모듈에 연결하는 분산된 단어 표현을 사용합니다. 이를 통해 다양한 언어적 맥락을 효과적으로 처리할 수 있습니다.
  3. 부드러운 합성: 정규화된 술어 점수의 부드러운 합성을 통해 상징적 추론과 미분 가능한 추론을 정렬합니다. 이는 상징적 표현과 신경망 계산 간의 원활한 상호작용을 가능하게 합니다.

NeSyCoCo는 ReaSCAN 및 CLEVR-CoGenT 구성적 일반화 벤치마크에서 최첨단 결과를 달성했으며, CLEVR-SYN 벤치마크에서 새로운 개념에 대한 견고한 성능을 보여주었습니다. 이는 NeSyCoCo가 복잡한 시각-언어 추론 과제에 대한 강력한 해결책임을 시사합니다. 이 연구는 인공지능의 구성적 일반화 문제 해결에 있어 중요한 진전을 이루었으며, 앞으로 더욱 발전된 인공지능 시스템 개발에 기여할 것으로 기대됩니다.


결론적으로, NeSyCoCo는 LLM의 힘을 활용하여 신경상징 추론의 한계를 극복하고, 더욱 강력하고 유연한 인공지능 시스템 개발의 가능성을 열었습니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization

Published:  (Updated: )

Author: Danial Kamali, Elham J. Barezi, Parisa Kordjamshidi

http://arxiv.org/abs/2412.15588v1