컨버전스 학습의 비밀: 인공지능과 뇌, 어떻게 같은 방식으로 학습할까?

인공 신경망과 생물학적 신경망의 표상 정렬 연구를 통해 컨버전스 학습에 대한 새로운 통찰을 제시하는 논문을 소개합니다. 훈련 초기에 표상 정렬이 완료되고, 분포 이동에 대한 각 계층의 반응이 다르다는 것을 발견했습니다.

인공지능(AI)과 뇌 과학의 경계를 허무는 흥미로운 연구 결과가 발표되었습니다! Chaitanya Kapoor, Sudhanshu Srivastava, Meenakshi Khosla 연구팀은 "Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts" 라는 논문을 통해 인공 신경망과 생물학적 신경망이 얼마나 유사하게 표상을 학습하는지, 즉 컨버전스 학습에 대한 중요한 통찰을 제공합니다.

기존 연구의 한계를 넘어서

기존 연구들은 주로 초기 및 후기 시각 네트워크 계층에서의 컨버전스에 초점을 맞추었지만, 측정 지표의 제한 및 훈련 과정, 데이터 분포 변화에 대한 고려 부족이라는 한계를 가지고 있었습니다. 이에 연구팀은 세 가지 새로운 지표를 제시합니다. 선형 회귀(affine 변환 무시), Procrustes(회전 및 반사 무시), 순열/소프트 매칭(단위 순서 무시)을 통해 보다 정확한 표상 정렬을 측정한 것입니다. 흥미롭게도 직교 변환이 유연한 선형 변환만큼 효과적으로 표상을 정렬시켰으며, 순열 점수는 낮지만 여전히 우연보다 훨씬 높게 나타나 강력한 표상 기반을 시사했습니다.

훈련 과정에서의 놀라운 발견

일반적으로 컨버전스는 작업 특정 학습과 함께 점진적으로 구축될 것이라고 예상했지만, 연구 결과는 이러한 예상을 뒤엎었습니다. 컨버전스는 놀랍게도 첫 번째 에포크 안에 거의 완료되었다는 것입니다! 네트워크가 최적의 성능에 도달하기 훨씬 전에 말이죠. 이는 공유 입력 통계, 아키텍처 편향 또는 초기 훈련 역학이 최종 작업 솔루션이 아닌 컨버전스를 주도한다는 것을 시사합니다.

분포 이동의 영향: 견고함과 취약성

또한 연구팀은 입력 통계의 변화가 정렬에 어떻게 영향을 미치는지 체계적으로 조사했습니다. 그 결과, 분포 외(OOD) 입력은 후기 계층의 차이를 일관되게 증폭시키는 반면, 초기 계층은 분포 내 및 분포 외 입력 모두에 대해 정렬된 상태를 유지한다는 것을 발견했습니다. 이는 초기 계층의 정렬이 분포 이동에 걸쳐 안정적인 일반적인 특징에 의해 주도됨을 시사합니다.

결론: 뇌와 AI의 공통점과 차이점

이 연구는 컨버전스 학습에 대한 우리의 이해에 중요한 공백을 메우는 동시에 뇌와 AI의 공통점과 차이점에 대한 귀중한 통찰력을 제공합니다. 초기 훈련 단계에서의 컨버전스, 그리고 분포 이동에 대한 각 계층의 다양한 반응은 향후 뇌 모방 AI 모델 설계에 중요한 지침을 제공할 것입니다. 앞으로 더 많은 연구를 통해 컨버전스 학습의 신비를 풀고, 인간의 뇌와 같은 강력하고 유연한 인공지능을 개발하는데 기여할 것으로 기대됩니다.