틱택(Ticktack): 거대 언어 모델의 장기간 시간 정렬 문제 해결의 혁신

중국과학원 연구진이 제안한 '틱택' 방법론은 60갑자 표현과 극좌표, 시간적 인코딩을 활용하여 거대 언어 모델(LLM)의 장기간 시간적 정렬 문제를 해결하고, 시간 관련 작업의 성능을 향상시킵니다.

틱택(Ticktack): 거대 언어 모델의 시간 인식 능력 향상

최근 거대 언어 모델(LLM)이 괄목할 만한 발전을 이루었지만, 수천 년에 걸친 장기간의 시간 정보 처리에는 여전히 어려움을 겪고 있습니다. 이는 LLM의 학습 데이터에 장기간의 시간 정보가 부족하여 발생하는 시간적 정렬 문제 때문입니다. LLM은 수많은 데이터를 학습하지만, 수천 년에 걸친 시간 정보는 상대적으로 부족하여, 제대로 학습하지 못하거나 기존 지식을 망각하는 '파국적 망각' 현상을 보이기도 합니다.

중국과학원 자동화연구소의 Xue Han 등 연구진은 이러한 문제를 해결하기 위해 **'틱택(Ticktack)'**이라는 새로운 방법론을 제안했습니다. 틱택은 특히 연도 단위의 장기간 시간적 정렬 문제에 초점을 맞추고 있습니다. 연구진은 서기 연도 대신 60갑자 표현을 활용하여 연도 단위의 균일한 분포를 달성, LLM의 시간 정보 학습 효율을 높였습니다. 60갑자는 60년 주기로 순환하는 고유한 표현 방식으로, 시간적 균형을 이루는 데 효과적입니다.

틱택은 60갑자 순환 주기와 각 주기 내 연도 순서를 나타내기 위해 극좌표를 사용합니다. 여기에 추가적인 시간적 인코딩을 적용하여 LLM이 시간 정보를 더욱 효과적으로 이해하도록 돕습니다. 마지막으로, 시간적 표현 정렬 기법을 통해 사후 학습된 LLM이 관련 지식을 가진 시간 지점을 효과적으로 구분하도록 합니다. 이는 특히 장기간에 걸친 시간 관련 작업에서 성능 향상으로 이어집니다.

연구진은 또한 장기간 시간 범위를 다루는 작업을 위한 새로운 벤치마크를 개발하여 틱택의 성능을 평가했습니다. 실험 결과는 틱택의 효과를 입증하며, LLM의 시간적 인식 능력 향상에 새로운 가능성을 제시합니다. 틱택은 단순히 시간 정보를 처리하는 것을 넘어, LLM의 시간에 대한 이해를 심화시키고 더욱 정교한 시간 관련 응용 프로그램 개발에 기여할 것으로 기대됩니다. 이는 역사적 사건 분석, 장기 예측, 그리고 시간에 민감한 정보 처리가 필요한 다양한 분야에 혁신적인 변화를 가져올 수 있습니다.

핵심: 60갑자, 극좌표, 시간적 인코딩, 시간적 표현 정렬, 장기간 시간 벤치마크