GRPO 알고리즘: AI 정렬의 새로운 지평을 열다

밀란 보이노비치와 윤세영 연구원의 논문은 GRPO 알고리즘의 선호도 집계 방식을 심층 분석하여 기존 RLHF와의 차별성을 밝히고, 쌍대 비교 선호도와의 유사성, 그리고 주요 매개변수의 영향을 제시합니다. 이는 AI 정렬 분야에 새로운 시각을 제공하는 중요한 연구입니다.

최근 밀란 보이노비치와 윤세영 연구원이 발표한 논문 “GRPO의 정렬 목표는 무엇인가?”는 인공지능 모델의 정렬 문제에 대한 새로운 해법을 제시합니다. DeepSeek-R1-Zero 및 DeepSeekMath와 같은 첨단 AI 모델을 훈련하는 강화 학습 방법인 GRPO(Group Policy Optimisation) 알고리즘에 대한 심층적인 분석을 통해, 기존의 RLHF(Reinforcement Learning from Human Feedback)와는 다른 독특한 선호도 집계 방식을 밝혀냈습니다.

GRPO 알고리즘: 기존 방법과의 차별점

논문은 GRPO 알고리즘이 보상 선호도 모델을 사용하여 정책을 훈련한다는 점을 강조합니다. 이 모델은 주어진 상황에 대한 여러 출력을 샘플링하고, 해당 보상을 관찰한 후, 이러한 보상 값에 shift-and-scale 정규화를 적용하여 계산됩니다. 여기에 참조 정책으로부터의 편차를 억제하기 위한 페널티 함수가 추가됩니다. 흥미로운 점은 이 페널티 함수가 집계 정책과 참조 정책 사이의 역 KL(Kullback-Leibler) 발산에 해당한다는 것입니다. 이는 기존의 로그 합산 방식을 사용하는 RLHF와는 근본적으로 다른 접근 방식입니다.

쌍대 비교 선호도와의 유사성: 2인 그룹의 경우

특히 그룹 크기가 2인 경우, GRPO 알고리즘의 보상 선호도 모델은 다른 정렬 방법에서 사용되는 쌍대 비교 선호도와 유사하다는 것을 밝혔습니다. 이는 쌍대 비교 피드백 기반의 기존 정렬 방법과 GRPO 알고리즘 간의 연관성을 시사합니다.

매개변수의 영향: 규제 상수와 신뢰 수준

연구팀은 이항 질문, 그룹 크기 2, 그리고 큰 그룹 크기의 극한 상황에 대한 집계 선호도를 명시적으로 특징지었습니다. 이를 통해 규제 상수와 질문 답변의 신뢰 수준과 같은 매개변수가 집계 선호도에 미치는 영향을 분석했습니다.

추가적인 연구: 페널티 함수와 보상 정규화

마지막으로, 페널티 함수로 직접 KL 발산을 사용하거나, 보상에 스케일 정규화를 적용하지 않고 GRPO 알고리즘을 수정했을 때 얻어지는 선호도 집계에 대해 논의했습니다. 이는 앞으로의 연구 방향을 제시하는 부분입니다.

결론: AI 정렬 문제에 대한 새로운 시각

이 연구는 GRPO 알고리즘의 독특한 선호도 집계 메커니즘을 밝히고, 이를 수학적으로 분석함으로써 AI 정렬 문제에 대한 새로운 시각을 제공합니다. 특히, 기존의 RLHF와의 차별성을 명확히 밝힘으로써, AI 정렬 분야의 발전에 크게 기여할 것으로 기대됩니다. 향후 연구를 통해 GRPO 알고리즘의 실제 성능과 한계를 더욱 깊이 있게 파악하는 것이 중요할 것입니다. 더 나아가, GRPO 알고리즘을 다양한 AI 모델 및 응용 분야에 적용하여 그 효과를 검증하는 연구가 필요합니다.