AI 공정성의 새로운 지평: 모든 사람을 위한 대규모 언어 모델을 향하여

본 기사는 대규모 언어 모델(LLM)의 그룹 공정성을 평가하는 새로운 연구에 대해 소개합니다. 기존 연구의 한계를 극복하고, 다양한 그룹의 선호도를 고려한 평가 방법을 제시하여, 모든 평가 대상 보상 모델에서 통계적으로 유의미한 그룹 불공정성을 발견하였으며, 성능이 우수한 모델이 더 공정한 경향을 보임을 밝혔습니다.

최근 대규모 언어 모델(LLM)의 발전은 눈부십니다. 하지만 그 막강한 능력 뒤에는 잠재적인 윤리적 문제가 도사리고 있습니다. 바로 공정성 문제입니다. 특히 다양한 인구 집단(민족, 성별, 연령 등)에 걸쳐 공정성을 확보하는 것은 매우 중요한 과제입니다.

Kefan Song 등 연구진이 발표한 논문, "Towards Large Language Models that Benefit for All: Benchmarking Group Fairness in Reward Models" 은 이러한 문제에 대한 획기적인 접근 방식을 제시합니다. 기존의 LLM 공정성 연구는 두 가지 주요한 한계를 가지고 있었습니다.

첫째, 기존 연구는 모든 그룹에 동일한 질문을 적용하는 것을 전제로 했습니다. 하지만 현실 세계에서는 각 그룹마다 선호하는 질문 유형이 다를 수 있습니다. 둘째, LLM의 최종 출력만을 평가하여, 편향의 근원을 정확히 파악하지 못했습니다. LLM의 편향은 사전 훈련과 미세 조정 모두에서 발생할 수 있으며, 특히 미세 조정 과정에서의 강화 학습(RLHF)과 학습된 보상 모델에서 기인할 수 있습니다.

이러한 한계를 인식한 연구진은 학습된 보상 모델의 그룹 공정성을 벤치마킹하는 새로운 방법을 제안했습니다. arXiv의 전문가 작성 텍스트를 활용하여, 각 그룹의 선호도를 고려하면서 보상 모델의 공정성을 평가할 수 있었습니다. 놀랍게도, Nemotron-4-340B-Reward, ArmoRM-Llama3-8B-v0.1, GRM-llama3-8B-sftreg 등 모든 평가 대상 보상 모델에서 통계적으로 유의미한 그룹 불공정성이 발견되었습니다.

흥미로운 점은, 기존 성능 지표(canonical performance metrics)에서 우수한 성능을 보인 보상 모델이 상대적으로 더 나은 그룹 공정성을 보였다는 것입니다. 이는 단순히 성능만을 고려하는 것이 아니라, 공정성 또한 고려해야 함을 시사합니다.

이 연구는 LLM의 공정성 문제 해결에 중요한 기여를 할 것으로 예상됩니다. 앞으로 더욱 다양한 측면에서의 공정성 평가와, 편향 완화를 위한 새로운 기술 개발이 필요합니다. 모든 사람에게 이로운 AI 시대를 향한 여정은 이제 막 시작되었습니다.