SplitQuant: 저해상도 신경망 양자화의 혁신

송재우, 임방젠 박사 연구팀의 SplitQuant는 딥러닝 모델 양자화의 정확도 저하 문제를 해결하는 혁신적인 방법을 제시합니다. 계층 분할 및 스케일링 팩터 조정을 통해 이상치의 영향을 완화하고 양자화 해상도를 높여, BERT-Tiny 모델에서 FP32 모델 수준의 정확도를 달성했습니다.

SplitQuant: 저해상도 신경망 양자화의 혁신

송재우 박사와 임방젠 박사가 공동으로 발표한 논문 "SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization"은 딥러닝 모델의 크기와 연산 속도를 줄이기 위한 양자화 기술의 한계를 극복하는 획기적인 방법을 제시합니다.

깊은 신경망(DNN)의 양자화는 모델의 크기를 줄이고 추론 속도를 높이기 위해 매개변수 값의 데이터 형식을 더 낮은 정밀도로 변환하는 과정입니다. 하지만 이 과정에서 원래 값의 범위가 양자화된 값의 범위보다 넓어 정확도 저하가 발생하는데, 이는 특히 이상치(outliers)로 인해 심화됩니다.

기존의 이상치 제거 방식은 중요한 신호까지 제거하는 문제가 있었지만, SplitQuant는 다릅니다. 송재우, 임방젠 박사 연구팀은 각 계층을 수학적으로 동등한 세 개의 계층으로 분할하고, 서로 다른 스케일링 팩터를 적용하는 독창적인 방법을 제시했습니다. 특히, 가중치와 편향을 하위, 중간, 상위 클러스터로 분류하여 최적화된 분할을 수행합니다. 이를 통해 이상치의 영향을 완화하면서 양자화 해상도를 높였습니다.

이 방법은 두 개의 BERT-Tiny 모델에 적용되어 INT2 양자화의 정확도를 각각 3.3%p와 2.1%p 향상시켰으며, 놀랍게도 원래의 FP32 모델과 비교해도 손색없는 정확도를 달성했습니다. 이는 기존 양자화 기술의 한계를 뛰어넘는 괄목할 만한 성과입니다.

SplitQuant는 단순한 이상치 처리를 넘어, DNN의 구조적 개선을 통해 양자화의 성능을 획기적으로 높인 사례로, 향후 AI 모델 경량화 및 고효율화 연구에 중요한 전환점이 될 것으로 기대됩니다. 이 연구는 저전력 환경에서의 AI 활용을 촉진하고, 모바일 및 임베디드 시스템에서의 AI 적용 가능성을 더욱 확대할 것으로 예상됩니다.

핵심: SplitQuant는 계층 분할과 스케일링 팩터 조정을 통해 양자화 해상도를 높이고, 이상치 문제를 효과적으로 해결하여 기존 양자화 방식의 정확도 한계를 극복했습니다. BERT-Tiny 모델을 대상으로 한 실험 결과는 이러한 기술의 우수성을 명확하게 입증합니다.