3H 조정: 모델 병합 vs. 데이터 혼합 - LLM의 윤리적 딜레마 해결에 대한 새로운 접근

양 진루안 등 연구진은 LLM의 유익성, 정직성, 무해성(3H)을 균형 있게 조정하기 위해 모델 병합 기법을 제시하고, 기존 데이터 혼합 방식보다 우수함을 입증했습니다. 새로운 R-TSVM 방법을 제안하여 LLM의 윤리적 문제 해결에 기여했습니다.

대규모 언어 모델(LLM)의 발전은 눈부시지만, 유익성(Helpfulness), 정직성(Honesty), 무해성(Harmlessness)의 균형을 맞추는 것은 여전히 풀어야 할 숙제입니다. 양 진루안 등 연구진이 발표한 논문 "Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging"은 이러한 딜레마를 해결하기 위한 획기적인 연구 결과를 제시합니다.

기존의 데이터 혼합 전략은 전문가 지식에 의존하고 최적화 신호가 상충하는 등의 한계를 가지고 있었습니다. 하지만 이 논문은 모델 병합이라는 새로운 접근 방식을 제안하며, 특화된 모델들을 통합하여 3H 최적화를 달성하는 가능성을 보여줍니다.

연구진은 15가지 모델 병합 방법(훈련 없는 병합 12가지, 데이터 혼합 기법 3가지)을 10개의 데이터셋, 5가지 주석 차원, 2가지 LLM 패밀리, 2가지 훈련 패러다임에 걸쳐 체계적으로 평가했습니다. 그 결과, 세 가지 중요한 통찰력을 얻었습니다.

• 3H 차원 간의 협력적/상충적 관계: 기존 연구에서 간과되었던 3H 차원 간의 복잡한 상호작용을 최초로 규명했습니다. 단순히 각 차원을 개별적으로 최적화하는 것이 아니라, 상호작용을 고려해야 함을 시사합니다.
• 모델 병합의 우월성: 데이터 혼합 접근 방식보다 모델 병합이 3H 조정의 균형을 맞추는 데 훨씬 효과적임을 확인했습니다. 이는 모델의 내부적 구조를 직접 조작함으로써 더욱 정교한 조정이 가능하기 때문으로 해석됩니다.
• 매개변수 수준의 충돌 해결: 중복 구성 요소 제거 및 이상치 완화를 통한 매개변수 수준의 충돌 해결이 매우 중요함을 강조했습니다. LLM의 매개변수 분포 특성을 고려한 전략이 필수적임을 보여줍니다.

이러한 발견을 바탕으로 연구진은 R-TSVM (Reweighting-enhanced Task Singular Vector Merging) 이라는 새로운 모델 병합 방법을 제안했습니다. 이 방법은 이상치를 고려한 가중치 부여 및 희소성 적응형 순위 선택 전략을 통합하여 LLM의 긴 꼬리 매개변수 분포와 희소성에 적응합니다. 다양한 평가에서 기존 방법보다 LLM 조정 성능을 향상시켰습니다. 해당 모델은 https://huggingface.co/Jinluan에서 확인할 수 있습니다.

이 연구는 LLM의 윤리적 문제 해결에 새로운 돌파구를 제시하며, 앞으로 더욱 안전하고 책임감 있는 AI 개발에 기여할 것으로 기대됩니다. 단순한 성능 향상뿐 아니라, AI의 윤리적 측면까지 고려한 균형 잡힌 접근 방식의 중요성을 다시 한번 강조하고 있습니다.