트랜스포머의 숨겨진 비밀: 낮은 엔트로피와 동적 스파스성의 세계

Ren과 Liu 연구진은 트랜스포머 모델의 압축 성능을 엔트로피와 동적 스파스성 관점에서 분석하여, 트랜스포머가 낮은 엔트로피 분포를 선호하고 FFN 모듈이 이에 중요한 역할을 수행함을 밝혔습니다. 또한, 대규모 모델의 훈련 불안정성과 죽은 뉴런의 급증 사이의 상관관계를 발견하였습니다. 이 연구는 트랜스포머 작동 원리에 대한 깊이 있는 이해를 제공하며, 향후 연구 방향을 제시합니다.

최근 몇 년간 딥러닝 분야를 혁신적으로 바꾼 트랜스포머 모델. 그 성공의 비결은 무엇일까요? Ren과 Liu 연구진은 압축이라는 렌즈를 통해 트랜스포머의 작동 원리를 깊이 있게 파헤쳤습니다. 기존 연구는 주로 타겟 분포를 기준으로 압축 성능을 평가했지만, 타겟 분포 자체가 알려지지 않고 엔트로피 계산의 어려움으로 인해 정확한 평가가 쉽지 않았습니다.

하지만 이번 연구는 통제된 실험 환경에서 새로운 관점을 제시합니다. 연구진은 트랜스포머가 타겟 분포에 근접하는 것 이상으로, 놀랍게도 낮은 엔트로피 분포를 선호하는 경향을 발견했습니다. 이는 모델의 크기가 커질수록 더욱 두드러지는 현상입니다. 즉, 트랜스포머는 정보 내용을 더욱 압축하여 타겟 분포와 완벽히 일치하지 않고도 효율적인 성능을 달성한다는 것을 의미합니다. 이러한 현상의 핵심에는 FFN(Feed-Forward Network) 모듈이 있습니다. FFN이 이러한 낮은 엔트로피 분포 선호 경향을 주도하는 데 중요한 역할을 한다는 것을 연구진은 밝혀냈습니다.

더 나아가, 연구진은 트랜스포머의 매개변수 내부에 존재하는 중복성을 동적 스파스성(dynamic sparsity) 으로 분석했습니다. 모델이 데이터의 정보 중복성을 제거하는 동안, 동시에 매개변수 내부에도 중복성이 존재하며, 이것이 압축을 가능하게 한다는 것입니다. 하지만 어텐션과 FFN 모듈에서의 동적 스파스성 패턴은 여전히 미지의 영역입니다. 흥미로운 점은, 큰 모델일수록 잔차 연결을 통해 어텐션 계산을 우회하는 경향이 강하고 활성 뉴런의 비율이 낮아진다는 사실입니다. 더욱 놀라운 것은 대규모 모델의 훈련 불안정성이 죽은 뉴런의 급증과 강하게 상관관계를 보인다는 점입니다.

이 연구는 엔트로피와 동적 스파스성이라는 렌즈를 통해 트랜스포머를 더 깊이 이해하는 데 크게 기여했습니다. 하지만 동시에, 트랜스포머의 동적 스파스성에 대한 추가 연구가 필요함을 시사하며, 향후 연구 방향을 제시하는 의미있는 결과입니다. 트랜스포머의 놀라운 능력 뒤에 숨겨진 비밀을 밝히는 여정은 계속됩니다.