인간 선호도 정렬을 위한 강력한 솔루션: HPS(Hard Preference Sampling)

HPS(Hard Preference Sampling)는 대규모 언어 모델의 인간 선호도 정렬을 위한 새로운 프레임워크로, 유해 콘텐츠 생성 감소, 효율적인 샘플링, 선호도 차이 확대 등의 장점을 통해 안전하고 통제 가능한 AI 시스템 구축에 기여할 것으로 기대됩니다.

안전하고 통제 가능한 AI 시스템을 향한 한 걸음: HPS의 등장

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 그 활용성만큼이나 안전성에 대한 우려를 낳고 있습니다. 인간의 선호도에 부합하는 응답을 생성하는 것은 안전하고 통제 가능한 AI 시스템 구축의 핵심 과제입니다. 기존의 Plackett-Luce(PL)나 Bradley-Terry(BT) 모델 기반의 선호도 최적화 방법들은 유해 콘텐츠 처리, 비선호 응답의 비효율적인 활용, 그리고 PL 모델의 경우 높은 계산 비용 등의 문제점을 안고 있었습니다.

이러한 문제를 해결하기 위해 Zou Xiandong 등 연구진이 제시한 HPS(Hard Preference Sampling) 는 주목할 만한 성과를 보여줍니다. HPS는 가장 선호되는 응답을 우선적으로 고려하고 모든 비선호 및 유해 응답을 과감히 거부하는 훈련 손실 함수를 도입했습니다. 특히 선호되는 응답과 유사하지만 비선호되는 응답(즉, 'hard' dispreferred responses)에 주목하여 모델의 거부 능력을 향상시키는 데 집중합니다. 단일 샘플 몬테카를로 샘플링 전략을 활용하여 계산 비용을 줄이면서도 정렬 품질을 유지하는 효율성까지 갖추었습니다.

HPS의 핵심:

• 유해 콘텐츠 차단 강화: 기존 방법보다 유해 콘텐츠 생성을 효과적으로 줄입니다.
• 효율적인 샘플링: 단일 샘플 몬테카를로 샘플링으로 계산 비용을 절감합니다.
• 선호도 차이 확대: 선호 및 비선호 응답 간의 보상 차이(reward margin)를 극대화하여 명확한 구분을 가능하게 합니다.

연구진은 HH-RLHF 및 PKU-Safety 데이터셋을 이용한 실험을 통해 HPS의 효과를 검증했습니다. BLEU 점수와 보상 점수는 기존 방법과 유사한 수준을 유지하면서도, 보상 차이를 크게 개선하여 유해 콘텐츠 생성 감소에 성공했습니다.

HPS는 LLM의 안전성과 신뢰성을 향상시키는 중요한 발걸음으로, 더욱 안전하고 책임감 있는 AI 시스템 개발에 기여할 것으로 기대됩니다. 앞으로 HPS를 기반으로 한 후속 연구와 발전이 더욱 기대되는 부분입니다. AI 기술의 윤리적 함의를 고려하며 발전시켜 나가는 것이 중요한 시점입니다.