희소하게 지도된 연속 학습의 혁신: 뇌의 원리를 모방한 AI

Tran, Neftci, Wybo 세 연구자가 개발한 '작업 조절 대조 학습(TMCL)'은 인간 뇌의 학습 원리를 모방하여 희소한 레이블 데이터만으로도 효과적인 연속 학습을 가능하게 하는 혁신적인 방법입니다. 기존의 지도 및 비지도 학습 방식을 능가하는 성능을 보이며, AI의 지속적 학습 능력 향상에 기여할 것으로 기대됩니다.

끊임없이 배우는 뇌, 그리고 AI의 한계

인간의 뇌는 놀랍습니다. 끊임없이 새로운 정보를 흡수하고, 기존 지식과 통합하며, 새로운 상황에도 유연하게 적응합니다. 하지만 기계 학습 모델은 이러한 자연스러운 학습 과정을 따라가지 못하는 경우가 많습니다. 특히, 새로운 데이터를 학습할 때 기존에 학습한 내용을 잊어버리는 '파국적 망각' 문제는 지속적인 학습을 어렵게 만드는 주요 걸림돌입니다.

뇌의 비밀을 풀다: 작업 조절 대조 학습(TMCL)

Tran, Neftci, Wybo 세 연구자는 최근 논문에서 이러한 문제를 해결하기 위한 획기적인 방법을 제시했습니다. 바로 **'작업 조절 대조 학습(TMCL)'**입니다. 이 방법은 인간 뇌의 신피질에서 작동하는 생물 물리적 메커니즘과 예측 부호화 원리를 모방하여 설계되었습니다. 핵심 아이디어는 상향식 정보를 지속적이고 비지도 방식으로 통합하는 것입니다. TMCL은 대조 손실 함수를 사용하여 뷰 불변 표현 공간을 구축합니다. 새로운 클래스의 레이블이 나타나면, 새로운 어파인 변조가 학습되어 새로운 클래스와 기존 클래스를 효과적으로 분리합니다. 흥미로운 점은 이 과정에서 기존 피드포워드 가중치는 변경되지 않는다는 것입니다. TMCL은 과거 변조를 활용하여 표현 공간을 안정화시키고, 이를 통해 안정성과 가소성의 균형을 맞춥니다.

놀라운 성능: 1%의 레이블로도 가능

연구팀은 다양한 실험을 통해 TMCL의 우수성을 입증했습니다. 클래스 증분 학습과 전이 학습 모두에서 기존 최첨단 비지도 학습 방식 및 유사한 지도 학습 방식을 능가하는 성능을 보였습니다. 특히, 전체 레이블의 단 1%만 사용하여도 상당한 성능 향상을 달성했습니다. 이는 TMCL이 희소한 레이블 데이터를 효율적으로 활용할 수 있음을 보여줍니다.

새로운 시대의 연속 학습

이 연구는 상향식 변조가 안정성과 가소성의 균형을 유지하는 데 중요한 역할을 한다는 것을 시사합니다. TMCL은 기계 학습의 지속적인 학습 능력을 향상시키는 데 중요한 이정표를 제시하며, 앞으로 더욱 발전된 AI 시스템 개발에 기여할 것으로 기대됩니다. 이 연구는 AI가 인간의 뇌처럼 끊임없이 배우고 성장하는 미래를 향한 중요한 한 걸음입니다.