혁신적인 AI 모델: 전역 작업 공간 이론으로 연산 체이닝 학습

전역 작업 공간 이론에 기반한 새로운 AI 모델이 순차적 추론 능력 향상을 위해 제안되었습니다. LSTM 및 Transformer보다 적은 매개변수로 우수한 성능을 보이며, 다양한 분야에의 응용 가능성을 시사합니다.

Hugo Chateau-Laurent과 Rufin VanRullen이 발표한 최신 논문에서, 인간의 사고 과정을 모방한 획기적인 AI 모델이 소개되었습니다. 이 모델은 전역 작업 공간 이론(Global Workspace Theory) 에서 영감을 받아, 전문화된 모듈과 정보 라우팅 메커니즘을 통합하여 순차적 추론 작업을 수행합니다.

핵심은 제어 장치(controller) 가 게이팅 메커니즘(gating mechanism) 을 사용하여 작업 공간을 통해 모듈 간의 정보 흐름을 선택적으로 제어하는 것입니다. 이를 통해, 마치 인간의 System-2 추론처럼, 특정 도메인의 전문화된 모듈 간에 정보를 반복적으로 전달하며 연산을 체이닝(chaining)합니다.

연구팀은 간단한 덧셈 문제를 통해 이 모델의 성능을 평가했습니다. 입력 모듈, 증가 모듈(여러 번 반복), 출력 모듈을 순차적으로 거쳐 덧셈을 수행하는 방식입니다. 흥미롭게도, 두 가지 구현 방식을 비교했습니다.

• 첫 번째: 손으로 설계된 모듈과, 이 모듈들을 적절한 순서로 선택하도록 학습된 LSTM 순환 신경망 제어 장치를 사용했습니다. (One-hot digit 표현 사용)
• 두 번째: 손으로 설계된 모듈 대신 MNIST 이미지에 대한 학습된 표현 모듈과 과제 목표에 맞춰 학습된 증가 모듈을 사용했습니다. 여기서도 제어 장치는 과제 해결을 위한 적절한 순차적 모듈 선택을 학습합니다.

결과는 놀랍습니다. 매개변수 수가 적은 전역 작업 공간 모델이 LSTM이나 Transformer보다 훈련 중에 보지 못한 덧셈 연산(보간 및 외삽 모두)에서 더 나은 성능을 보였습니다. 이는 전역 작업 공간 이론에서 영감을 받은 아키텍처가 심층 학습의 추론 능력을 향상시킬 수 있는 잠재력을 보여주는 것입니다.

이 연구는 단순한 덧셈을 넘어, 복잡한 순차적 추론이 필요한 다양한 문제에 적용될 수 있는 가능성을 제시합니다. 전문화된 모듈의 유연한 조합과 효율적인 정보 라우팅 메커니즘은 AI의 추론 능력 발전에 중요한 전환점이 될 수 있을 것입니다. 앞으로 이 모델의 발전과 다양한 분야로의 응용이 기대됩니다. 😉