잠재적 사고를 통한 학습: 데이터 제약을 극복하는 새로운 AI 학습 방법

양준루안 등 연구진이 발표한 논문 'Reasoning to Learn from Latent Thoughts'는 대규모 언어 모델의 데이터 효율성을 높이기 위해 잠재적 사고 과정을 모델링하는 새로운 방법을 제시했습니다. 합성 데이터 기반 추론 및 EM 알고리즘 기반 부트스트래핑 기법을 통해 데이터 제약을 극복하고, LLM의 성능을 크게 향상시킬 수 있음을 실험적으로 증명했습니다.

최근 급속한 발전을 거듭하고 있는 대규모 언어 모델(LLM)은 방대한 양의 데이터를 학습하여 놀라운 성능을 보여주고 있습니다. 하지만, LLM 학습에 필요한 데이터의 양은 인간이 생성하는 텍스트의 양을 훨씬 넘어섰고, 이제 데이터 부족 현상이 LLM 발전의 걸림돌로 작용하고 있습니다. 이러한 문제를 해결하기 위해, 양준루안(Yangjun Ruan) 등 연구진은 **'잠재적 사고(latent thoughts)'**를 모델링하여 데이터 효율성을 높이는 획기적인 방법을 제시했습니다.

잠재적 사고란 무엇일까요?

연구진은 웹 상의 텍스트를 인간의 사고 과정의 '압축된 결과물'로 보고, 그 이면에 존재하는 상세한 사고 과정, 즉 **'잠재적 사고'**에 주목했습니다. 이 잠재적 사고에는 텍스트 생성 과정에 필수적인 맥락적 지식과 추론 단계가 풍부하게 담겨있다는 것이죠. 마치 훌륭한 요리 레시피처럼, 최종 결과물만 보는 것보다 레시피의 상세한 과정을 이해하는 것이 요리의 본질을 더 잘 이해하는 것과 같다고 할 수 있습니다.

잠재적 사고를 어떻게 모델링할까요?

연구진은 두 가지 방법을 제시합니다. 첫 번째는 합성 데이터를 이용한 잠재적 사고 추론입니다. 이 방법은 인공적으로 잠재적 사고 과정을 생성하여 LLM 학습에 활용함으로써, 실제 데이터가 부족한 상황에서도 효과적인 학습을 가능하게 합니다. 실험 결과, 수학 문제 풀이(MATH) 데이터셋에서 기존 방식보다 5.7%에서 25.4%까지 성능이 향상되는 놀라운 결과를 얻었습니다.

두 번째는 EM 알고리즘을 이용한 부트스트래핑입니다. 이 방법은 LLM이 스스로 자신의 성능을 향상시키는 '자기 학습' 방식입니다. LLM이 먼저 잠재적 사고를 추론하고, 이를 바탕으로 다시 학습하는 과정을 반복함으로써, 데이터 효율성을 더욱 높일 수 있습니다. 10억 매개변수(1B)의 LLM을 대상으로 한 실험에서, 이 방법은 최소 3회의 반복 학습을 통해 기존 방식을 압도적으로 능가하는 성능 향상을 보였습니다.

새로운 가능성의 시작

본 연구는 데이터 제약이라는 LLM 발전의 난제를 극복할 새로운 가능성을 제시합니다. 잠재적 사고를 모델링하는 방법은 단순히 데이터의 양을 늘리는 것 이상의 효과를 제공하며, 더욱 효율적이고 지능적인 AI 개발의 길을 열어줄 것으로 기대됩니다. 특히, EM 알고리즘 기반의 부트스트래핑 기법은 추론 연산의 증가에 따라 성능 향상이 계속되는 것을 보여주어, 향후 LLM의 지속적인 스케일업에 중요한 전략적 의미를 지닙니다.