GRPO 알고리즘의 정렬 목표: 새로운 AI 정렬 접근법의 가능성

Milan Vojnovic과 Se-Young Yun의 논문은 강화학습 기반 AI 정렬 알고리즘인 GRPO의 선호도 집계 방식을 분석하여 기존 RLHF와의 차이점을 밝히고, 그룹 크기 2의 경우 쌍방 비교 선호도와의 유사성을 제시합니다. 이 연구는 AI 정렬 분야에 새로운 패러다임을 제시하며, 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 것으로 기대됩니다.

최근 Milan Vojnovic과 Se-Young Yun이 발표한 논문 "What is the Alignment Objective of GRPO?"는 딥러닝 모델의 정렬 문제에 대한 새로운 시각을 제공합니다. 이 논문은 강화 학습 기반의 GRPO (Group Policy Optimisation) 알고리즘에 주목하며, 기존의 RLHF (Reinforcement Learning from Human Feedback)와는 다른 독특한 선호도 집계 방식을 분석합니다.

GRPO 알고리즘: 기존 방식과의 차별점

GRPO는 DeepSeek-R1-Zero 및 DeepSeekMath와 같은 고급 AI 모델을 훈련하는 데 사용되는 알고리즘입니다. 기존의 RLHF가 로그 합산 방식을 사용하는 것과 달리, GRPO는 보상 선호도 모델과 페널티 함수를 활용하여 선호도를 집계합니다. 이 과정에서 보상 값에 shift-and-scale 정규화를 적용하고, 참조 정책으로부터의 편차를 제한하는 페널티를 부과합니다. 논문에서는 이 페널티 함수가 본질적으로 역 KL(Kullback-Leibler) 다이버전스에 해당한다는 점을 밝힙니다.

쌍방 비교 선호도와의 유사성

특히, 그룹 크기가 2일 때 GRPO의 보상 선호도 모델은 다른 정렬 방법에서 사용되는 쌍방 비교 선호도와 유사하게 작동합니다. 이러한 발견은 GRPO 알고리즘의 선호도 집계 방식에 대한 깊이 있는 이해를 제공하며, 정규화 상수 및 질문 답변의 신뢰 수준과 같은 매개변수가 집계 선호도에 미치는 영향을 명확하게 분석합니다.

향후 연구 방향: 새로운 AI 정렬 패러다임의 가능성

논문에서는 GRPO 알고리즘을 수정하여 직접 KL 다이버전스를 페널티로 사용하거나, 스케일 정규화 없이 보상을 사용하는 경우의 선호도 집계 방식도 분석합니다. 이러한 추가 분석은 AI 정렬 문제에 대한 보다 포괄적인 이해를 제공하며, 향후 연구를 통해 더욱 개선된 AI 정렬 방법의 개발로 이어질 수 있을 것으로 기대됩니다. GRPO 알고리즘이 제시하는 새로운 선호도 집계 방식은 AI 정렬 분야에 새로운 패러다임을 제시하며, 더욱 안전하고 신뢰할 수 있는 AI 시스템 개발에 기여할 수 있을 것입니다.

결론적으로, 이 논문은 GRPO 알고리즘의 정렬 목표를 명확하게 규명하고, 기존 방법과의 차별점을 강조함으로써 AI 정렬 분야에 중요한 기여를 합니다. 이는 향후 AI 시스템의 안전성 및 신뢰성 향상에 큰 영향을 미칠 것으로 예상됩니다.