자기 참조 순환 인과(RECALL): 언어 모델의 '도서관' 같은 동작 향상

본 논문은 대규모 언어 모델(LLM)의 기억력 향상에 기여하는 새로운 메커니즘인 '자기 참조 순환 인과(RECALL)'를 제시합니다. '역전 저주' 현상이라는 LLM의 한계를 극복하는 새로운 방법으로, 순환 토큰을 통해 이전 문맥을 효과적으로 재생성하는 것을 보여줍니다. 엄밀한 실험과 함께 공개된 코드는 향후 연구에 중요한 기여를 할 것으로 예상됩니다.

자기 참조 순환 인과(RECALL): 언어 모델의 기억력 향상의 비밀

최근 Munachiso Nwadike 외 9명의 연구진이 발표한 논문에서, 대규모 언어 모델(LLM)의 기억 능력 향상에 혁신적인 메커니즘인 자기 참조 순환 인과(RECALL) 가 소개되었습니다. LLM은 순차적인 데이터를 처리할 때 종종 이전 문맥을 기억하지 못하는 '역전 저주' 현상을 겪습니다. 예를 들어, 미국 국가의 'O say does that star-spangled banner yet wave' 앞 문장을 묻는 질문에 'Gave proof through the night that our flag was still there'을 제대로 답하지 못하는 것이 그 예시입니다. 이는 ChatGPT나 Llama와 같은 LLM이 이전 토큰을 기반으로 텍스트를 생성하기 때문에, 정보를 일관된 토큰 순서로 학습하고 재현해야 하기 때문입니다.

하지만 연구진은 역전 저주가 항상 제약이 되는 것은 아니라는 점을 보여주었습니다. 그들은 순환 토큰이라는 개념을 도입했습니다. 순환 토큰은 훈련 데이터의 서로 다른 부분을 연결하는 토큰 시퀀스로, 이전 토큰을 후속 토큰으로부터 재생성할 수 있도록 합니다. 이러한 순환 토큰이 유도하는 순환이 모델의 정보 재생 능력에 영향을 미친다는 것을 엄밀한 확률적 공식화와 통제된 실험을 통해 증명했습니다.

흥미롭게도, RECALL은 LLM이 단방향 인과 관계의 한계를 극복하도록 합니다. 단방향 인과 관계는 정보가 한 방향으로만 흐르는 것을 의미하며, 이는 역전 저주를 일으키는 주요 원인 중 하나입니다. RECALL은 이러한 한계를 뛰어넘어, 마치 도서관처럼 방대한 정보를 저장하고 필요할 때 효과적으로 검색하여 재현하는 것을 가능하게 합니다. 이 연구는 LLM의 기억 능력 향상에 대한 새로운 가능성을 제시하며, 더욱 발전된 언어 모델 개발에 중요한 이정표가 될 것으로 기대됩니다.

연구의 재현성을 높이기 위해, 연구진은 코드와 실험 세부 정보를 https://anonymous.4open.science/r/remember-B0B8/ 에서 공개했습니다. 이를 통해 다른 연구자들이 이 연구 결과를 검증하고, RECALL 메커니즘을 기반으로 한 새로운 연구를 수행할 수 있을 것으로 예상됩니다.