에지 컴퓨팅의 혁명: 초경량 언어 모델 PLM의 등장

본 기사는 에지 디바이스의 자원 제약을 극복하는 혁신적인 초경량 언어 모델 PLM에 대한 소개입니다. PLM은 독창적인 아키텍처와 RLHF 기반의 다단계 학습 전략을 통해 기존 모델들을 능가하는 성능을 보여주며, 다양한 에지 디바이스에서 성공적으로 구현되었습니다. 공개된 모델과 코드를 통해 연구 결과의 투명성과 재현 가능성을 확보했습니다.

대규모 언어 모델(LLM)의 발전에도 불구하고, 에지 디바이스의 제한된 자원은 인공지능의 확장성에 큰 걸림돌이 되어 왔습니다. 최근 등장한 소형 언어 모델들은 LLM의 성능을 축소된 크기로 구현하고자 하지만, 여전히 에지 디바이스의 저장 용량과 대역폭에 부담을 주는 것이 현실입니다.

하지만 이러한 한계를 극복할 혁신적인 모델이 등장했습니다. 바로 Cheng Deng을 비롯한 13명의 연구진이 개발한 PLM(Peripheral Language Model) 입니다. PLM은 모델 아키텍처와 에지 시스템 제약 조건을 공동으로 최적화하는 공동 설계(co-design) 프로세스를 통해 탄생했습니다.

PLM의 핵심은 Multi-head Latent Attention 메커니즘과 squared ReLU 활성화 함수의 활용입니다. 이를 통해 추론 중 최대 메모리 사용량을 줄이고, 모델의 효율성을 극대화했습니다. 더 나아가, 연구진은 오픈소스 데이터셋을 수집 및 재구성하고, Warmup-Stable-Decay-Constant (WSDC) 학습률 스케줄러를 도입하여 다단계 학습 전략을 구현했습니다.

특히, 인간 피드백 강화 학습(RLHF) 을 통해 성능을 더욱 향상시켰습니다. ARIES 선호 학습 접근 방식을 채택하여 두 단계의 SFT(Supervised Fine-Tuning) 프로세스를 거친 결과, 일반 작업에서는 2%, GSM8K 작업에서는 9%, 코딩 작업에서는 11%의 성능 향상을 달성했습니다.

PLM은 기존 소형 언어 모델들을 능가하는 성능을 보여주면서도 활성화된 매개변수의 수를 최소화했습니다. 더욱 놀라운 것은, 소비자용 GPU, 모바일폰, 라즈베리 파이 등 다양한 에지 디바이스에서 성공적으로 구현되었다는 점입니다. 이는 PLM이 다양한 에지 애플리케이션에 적합함을 증명하는 결과입니다. PLM 시리즈 모델은 https://github.com/plm-team/PLM에서 공개적으로 이용 가능합니다.

PLM의 등장은 에지 컴퓨팅 분야에 새로운 가능성을 열었습니다. 제한된 자원으로도 강력한 AI 성능을 구현할 수 있다는 것을 증명한 것입니다. 앞으로 PLM이 다양한 분야에서 활용될 수 있기를 기대하며, 이를 통해 더욱 스마트하고 편리한 세상을 만들어 나가기를 바랍니다.