GRPO 알고리즘의 정렬 목표: 새로운 AI 정렬 접근법의 등장

밀란 보이노비치와 윤세영 연구원의 논문은 GRPO 알고리즘을 통해 AI 모델의 정렬 문제에 대한 새로운 해결책을 제시합니다. 기존 RLHF와 다른 선호도 집계 방식, 쌍대 비교 선호도와의 유사성, 그리고 매개변수의 영향 분석을 통해 AI 모델의 행동 예측 및 제어 가능성을 향상시키는 데 기여할 것으로 기대됩니다.

최근 밀란 보이노비치와 윤세영 연구원이 발표한 논문 “GRPO의 정렬 목표는 무엇인가?”는 딥러닝 기반 AI 모델의 정렬 문제에 대한 새로운 해결책을 제시합니다. 이 논문은 Group Policy Optimisation (GRPO) 알고리즘에 초점을 맞춰, 기존의 강화 학습 기반 정렬 방법(예: RLHF)과는 다른 독특한 선호도 집계 방식을 밝혀냈습니다.

GRPO 알고리즘: 기존 방식과의 차별점

GRPO는 DeepSeek-R1-Zero와 DeepSeekMath와 같은 고급 AI 모델을 훈련하는 데 사용되는 강화 학습 방법입니다. 기존 RLHF와 달리, GRPO는 보상 선호도 모델을 사용하여 정책을 훈련합니다. 이 모델은 주어진 상황에 대한 여러 출력을 샘플링하고, 해당 보상을 관찰한 후, shift-and-scale 정규화를 적용하여 계산됩니다. 여기에 참조 정책으로부터의 편차를 줄이기 위한 페널티 함수도 포함됩니다.

연구진은 GRPO 알고리즘의 정상 상태 정책을 특징짓는 프레임워크를 제시했습니다. 이 분석을 통해 GRPO의 선호도 집계가 기존의 로그 합산(logarithmic pooling)과 근본적으로 다르다는 것을 밝혀냈습니다. 정확한 선호도 집계 형태는 보상 선호도 모델의 정의와 페널티 함수(본질적으로 집계 정책과 참조 정책 간의 역 KL 다이버전스에 해당)에 의해 결정됩니다.

흥미로운 발견: 쌍대 비교 선호도와의 유사성

특히, 연구진은 그룹 크기가 2일 때 보상 선호도 모델이 쌍대 비교 선호도(pairwise comparison preferences)에 해당한다는 것을 보였습니다. 이는 쌍대 비교 피드백을 기반으로 하는 다른 정렬 방법과 유사합니다. 또한, 이진 질문에 대한 집계 선호도, 그룹 크기 2인 경우, 그리고 큰 그룹 크기의 한계에 대한 명시적인 특성을 제공하여, 규제 상수 및 질문 응답의 신뢰 수준과 같은 매개변수가 집계 선호도에 미치는 영향을 분석했습니다.

향후 연구 방향: GRPO 알고리즘의 개선 및 응용

마지막으로, 연구진은 페널티 함수로 직접 KL 다이버전스를 사용하거나, 척도 정규화 없이 보상을 사용하도록 GRPO 알고리즘을 수정했을 때 얻어지는 선호도 집계에 대해 논의했습니다. 이러한 분석은 GRPO 알고리즘의 개선 및 다양한 응용 분야에 대한 향후 연구의 방향을 제시합니다. GRPO 알고리즘은 AI 모델의 정렬 문제에 대한 새로운 접근 방식을 제시하며, AI 안전성 및 신뢰성 향상에 중요한 기여를 할 것으로 기대됩니다.