범용 추론을 위한 새로운 패러다임: 지식과 추론의 분리

본 기사는 LLM의 추론 능력 한계를 극복하고 AGI로 나아가기 위한 새로운 연구 결과를 소개합니다. 지식과 추론의 분리를 통해 RL 기반 사전 학습, 합성 과제 커리큘럼, 작은 컨텍스트 창 사용 등의 방법으로 더욱 강력하고 일반화된 추론 능력을 갖춘 AI 개발의 가능성을 제시합니다.

최근 대규모 언어 모델(LLM)은 인공적으로 유용한 지능(AUI)을 보여주며 현실 세계에서 놀라운 성과를 거두고 있습니다. 하지만 적응적이고 견고한 추론 능력 – 인공 일반 지능(AGI)의 핵심 – 은 여전히 취약합니다. 상식 추론, 프로그래밍, 수학 문제 풀이에서 성공하는 듯 보이지만, 새로운 상황에 알고리즘적 이해를 일반화하는 데 어려움을 겪습니다. 한승욱, 조티시 파리, 사무엘 J. 거스만, 풀킷 아그라왈 등의 연구진은 이러한 문제를 esoteric programming languages를 이용한 알고리즘 과제 실험을 통해 밝혀냈습니다. LLM의 추론이 훈련 데이터에 과적합되고 전이성이 제한적임을 보여주는 결과입니다.

연구진은 이러한 제한된 전이성의 근본적인 문제가 LLM에서 추론과 지식의 결합에 있다고 가정합니다. AUI에서 AGI로의 전환을 위해, 그들은 지식과 추론을 분리하는 세 가지 핵심 방향을 제시합니다.

1. RL 기반 사전 학습: 널리 사용되는 다음 토큰 예측 사전 학습 대신, RL(강화 학습)을 사용하여 처음부터 추론을 사전 학습하는 방식입니다. 이는 추론 능력 자체를 직접적으로 학습시키는 새로운 접근법으로, 기존 방식의 한계를 극복할 가능성을 제시합니다.

2. 합성 과제 커리큘럼: 합성 과제를 사용하여 RL에 대한 추론 사전 학습을 용이하게 합니다. 이렇게 학습된 추론 사전은 자연어 처리 과제에 전이될 수 있습니다. 마치 어린아이가 블록 쌓기부터 시작해서 점차 복잡한 건축물을 만들어가는 것과 같이, 단계적인 학습을 통해 추론 능력을 효율적으로 발전시키는 방법입니다.

3. 일반화된 추론 함수 학습: 작은 컨텍스트 창을 사용하여 토큰 간의 허위 상관 관계를 활용하는 것을 줄입니다. 이를 통해 더 일반화 가능한 추론 함수를 학습할 수 있습니다. 이는 모델이 데이터의 표면적인 패턴에 의존하지 않고, 본질적인 추론 규칙을 학습하도록 유도하는 전략입니다.

연구진은 이러한 추론 시스템을 훈련된 검색 시스템과 대용량 외부 메모리 은행(지식 저장소)과 결합함으로써, 기존 아키텍처의 여러 제한 사항을 극복하고 새로운 시나리오에서 추론 학습을 가능하게 할 수 있다고 주장합니다. 이는 LLM의 한계를 넘어, 진정한 AGI 개발을 위한 중요한 이정표가 될 수 있는 혁신적인 연구입니다. 향후 연구를 통해 이러한 아이디어들이 어떻게 구현되고 실제 성능을 보여줄지 주목할 필요가 있습니다.