코사인 감쇠를 넘어서: 무한 학습률 스케줄의 연속적 사전 훈련 효과

본 연구는 무한 학습률 스케줄이 기존의 코사인 감쇠 스케줄보다 연속적 사전 훈련에 더 효과적임을 다양한 실험을 통해 입증했습니다. 대규모 데이터셋에서도 우수한 성능을 보이며, 연속 학습 분야의 발전에 기여할 것으로 기대됩니다.

코사인 감쇠를 넘어서: 무한 학습률 스케줄의 연속적 사전 훈련 효과

끊임없이 증가하는 비표시 데이터의 양은 인공지능 시스템 훈련에 있어 기회와 과제를 동시에 제시합니다. 자가 지도 학습(SSL)은 방대한 양의 비표시 데이터에서 의미 있는 표현을 추출하는 강력한 패러다임으로 부상했지만, 기존 방법들은 실제 데이터 스트림의 비정상적이고 비IID적인 특성에 적응하는 데 어려움을 겪고 있으며, 이전에 학습한 지식을 망각하는 문제를 안고 있습니다.

최근 연구에서는 대규모 연속적 사전 훈련을 위해 반복적인 코사인 어닐링 스케줄을 채택했습니다. 하지만 이러한 스케줄은 (1) 재가열 단계에서 망각을 일으키고, (2) 기존의 연속적 SSL 방법과 체계적으로 비교되지 않았다는 한계가 있습니다.

Paul Janson을 비롯한 7명의 연구자들은 이 연구에서 널리 사용되는 코사인 스케줄과 최근 제안된 무한 학습률 스케줄을 체계적으로 비교하여 후자가 더 효과적인 대안임을 실험적으로 밝혀냈습니다. 다양한 이미지 및 언어 데이터셋에 대한 광범위한 실험 결과, 무한 학습률 스케줄은 고정된 반복 횟수에 제한되지 않고 반복적인 코사인 감쇠보다 연속적 사전 훈련 성능을 일관되게 향상시켰습니다. 예를 들어, 소규모 MAE 사전 훈련 설정에서 기존의 여러 강력한 기준 모델을 능가했습니다.

연구팀은 MAE 사전 훈련과 자기회귀 언어 모델 사전 훈련으로 실험 규모를 확장했습니다. 그 결과, 무한 학습률 스케줄은 MAE 사전 훈련과 제로샷 LM 벤치마크 모두에서 반복적인 코사인 감쇠를 능가하며 대규모에서도 효과적임을 보여주었습니다. 이는 기존 방법의 한계를 극복하고 더욱 효율적인 연속 학습을 가능하게 하는 중요한 발견입니다. 향후 연구에서는 무한 학습률 스케줄의 다양한 응용 분야와 그 한계에 대한 추가 연구가 필요할 것으로 예상됩니다. 끊임없이 변화하는 데이터 환경에 적응하는 인공지능 시스템 개발에 중요한 전환점이 될 수 있는 연구 결과입니다.