셀프 수퍼바이즈드 속성 인식 동적 선호도 순위 정렬: 인간의 의도를 더욱 정확하게 반영하는 AI

본 연구는 인간의 피드백 기반 강화학습의 한계를 극복하기 위해, 자기 지도 학습과 속성 인식 기법을 활용한 새로운 선호도 순위 정렬 방법 SeAdpra를 제안합니다. 새로운 데이터셋과 평가 지표를 활용한 실험 결과, SeAdpra는 기존 방법보다 우수한 성능을 보였습니다.

인간의 마음을 읽는 AI: 'SeAdpra'의 등장

최근 AI는 인간의 피드백을 통해 학습하는 강화학습(Reinforcement Learning from Human Feedback)을 통해 놀라운 발전을 이루었습니다. 하지만 이러한 방식은 인간이 직접 답변들을 쌍으로 비교하여 평가해야 하는 비용이 많이 드는 작업을 필요로 합니다. 특히, 커뮤니티 질문 답변처럼 여러 답변 중 최선의 답을 고르는 리스트 수준의 과제에서는 한계가 명확했습니다. 게다가, 사람의 선호도는 여러 복합적인 요인에 따라 변하기 때문에 일관성 없는 판단을 내릴 수 있다는 점도 문제였습니다.

양홍유, 조기, 후진화, 리루이 등 연구팀은 이러한 문제점을 해결하기 위해 SeAdpra(Self-supervised Attribute-aware dynamic preference ranking alignment) 라는 혁신적인 방법을 제안했습니다. SeAdpra는 답변 간의 선호도 차이를 '속성 지각 거리 요소(Attribute-Perceptual Distance Factors, APDF)'를 통해 정량화하고, 이를 바탕으로 리스트 수준의 정렬 순서를 동적으로 결정합니다. 이는 마치 사람이 여러 요소를 종합적으로 고려하여 최고의 답변을 선택하는 과정과 유사합니다.

연구팀은 이를 위해 StaCoCoQA 라는 새로운 코드 선호도 데이터셋을 구축했습니다. 기존의 방법보다 효율적이고 확장성 있는 평가 지표인 PrefHit 과 PrefRecall 도 새롭게 제시했습니다. 실험 결과, SeAdpra는 StaCoCoQA 뿐만 아니라 8개의 다양한 분야 데이터셋에서도 우수한 성능과 일반화 능력을 보였습니다.

SeAdpra의 핵심:

• 자기 지도 학습(Self-supervised): 인간의 직접적인 개입을 최소화하여 효율성 증대.
• 속성 인식(Attribute-aware): 답변의 여러 속성을 고려하여 더욱 정교한 판단.
• 동적 선호도 순위 정렬(Dynamic preference ranking alignment): 상황에 맞춰 유연하게 선호도를 조정.

이 연구는 AI가 인간의 선호도를 더욱 정확하게 이해하고, 더욱 유용하고 안전한 결과를 제공하는 데 중요한 발걸음이 될 것으로 기대됩니다. 향후, AI 기반 서비스의 질적 향상에 크게 기여할 것으로 예상됩니다.