모델 정렬 검색(MAS): 인공지능의 인과적 이해를 향한 새로운 도약

Satchel Grant의 연구팀이 개발한 모델 정렬 검색(MAS)은 두 신경망 시스템 간의 인과적 정보 교환을 가능하게 하는 새로운 방법입니다. 기존 방법의 한계를 극복하고, 수 인지 등 다양한 분야에 적용 가능성을 보여주는 획기적인 연구입니다.

인공지능(AI) 분야에서 두 신경망 시스템의 동일성을 정의하는 것은 쉽지 않습니다. 기존의 표상 유사성 분석(RSA) 및 중심화 커널 정렬(CKA) 과 같은 상관 방법들은 목표에 따라 결과가 달라질 수 있다는 한계를 가지고 있습니다. 그렇다면 기능적으로 관련된 유사성을 어떻게 타겟팅하고 표상의 특정 인과적 측면을 어떻게 분리할 수 있을까요?

Satchel Grant 연구팀은 이러한 문제에 대한 해답으로 모델 정렬 검색(MAS) 이라는 혁신적인 방법을 제시했습니다. MAS는 분산된 표상 유사성을 인과적으로 탐색하는 기술로, 인과 정보를 자유롭게 교환할 수 있는 두 분산 네트워크의 표상 사이에 하위 공간을 정렬하는 가역적 선형 변환을 학습합니다.

연구팀은 먼저 MAS를 사용하여 서로 다른 훈련 시드를 가진 네트워크 간에 특정 인과 변수의 값(예: 셈 과제의 항목 수)을 전달할 수 있음을 보여주었습니다. 이는 마치 다른 방식으로 훈련된 두 AI가 서로의 '지식'을 공유하고 이해할 수 있도록 하는 획기적인 결과입니다.

뿐만 아니라, 연구팀은 MAS를 이용하여 수 인지에 대한 개방형 질문을 탐구했습니다. 구조적으로 다른 과제에 대해 훈련된 모델에서 다양한 유형의 수적 표상을 비교 분석하여 수 개념의 표상에 대한 새로운 통찰력을 제공했습니다.

더 나아가, MAS와 기존의 인과 유사성 방법의 차이점을 분석하고, 한 모델에 대한 인과적 접근이 불가능한 경우에도 인과적으로 관련된 정렬을 형성하는 데 도움이 되는 반사실적 잠재 보조 손실 함수를 도입했습니다. 이는 MAS의 적용 범위를 넓히는 중요한 발전입니다.

MAS는 AI의 인과적 이해를 심화시키고, AI 모델 간의 상호 작용과 지식 전달을 가능하게 하는 잠재력을 가지고 있습니다. 이는 향후 AI 연구의 새로운 지평을 열 것으로 기대됩니다. 특히, 복잡한 인지 과정을 이해하고, 보다 설명 가능하고 신뢰할 수 있는 AI 시스템을 개발하는 데 크게 기여할 것으로 예상됩니다.