웨이팅 리스트에 오른 윤리적 AI: LLM 기반 장기 배분의 그룹 공정성 평가

본 연구는 대규모 언어 모델(LLM)의 공정성 평가를 위해 투표 이론의 보르다 점수를 활용한 새로운 방법을 제시하고, 장기 이식 사례 연구를 통해 그 유용성을 검증했습니다. 기존의 단순한 정확도 기반 평가의 한계를 넘어, LLM의 윤리적 측면과 공정성을 더욱 정교하게 평가할 수 있는 새로운 지표를 제시한 점이 중요한 의의를 가집니다.

최근 급속도로 발전하는 대규모 언어 모델(LLM)은 이제 우리 생활 곳곳에 스며들고 있습니다. 하지만, 고위험도 상황, 예를 들어 생명과 직결된 장기 이식과 같은 분야에서 LLM을 사용하는 것은 매우 신중해야 합니다. 왜냐하면 기존의 정확도 중심의 평가 방식은 LLM의 윤리적 측면, 특히 공정성을 제대로 평가하지 못하기 때문입니다.

Hannah Murray 등 연구진이 발표한 논문 "Ethical AI on the Waitlist: Group Fairness Evaluation of LLM-Aided Organ Allocation"은 이러한 문제의식에서 출발합니다. 연구진은 LLM의 공정성 평가에 있어 기존 방식의 한계를 극복하기 위해 투표 이론에서 사용되는 보르다 점수를 도입했습니다. 보르다 점수는 복잡한 상황에서도 해석 가능성을 유지하면서 공정성을 측정할 수 있는 정교한 지표입니다.

연구는 장기 이식, 특히 신장 이식을 사례 연구로 삼아 두 가지 과제를 설정했습니다. 첫 번째는 'Choose-One'으로, LLM이 여러 후보 중 단 한 명의 신장 이식 대상자를 선택하는 과제입니다. 두 번째는 'Rank-All'로, 실제 장기 배분 과정을 반영하여 LLM이 모든 후보자를 순위대로 나열하는 과제입니다. 'Choose-One'에서는 인구 통계적 특성에 따른 비례적 형평성을 평가하고, 'Rank-All'에서는 기존의 공정성 지표가 순위 정보를 고려하지 못하는 한계를 극복하기 위해 보르다 점수를 새롭게 적용했습니다.

연구 결과는 보르다 점수 기반의 평가 방식이 LLM의 공정성을 더욱 풍부하고 다각적으로 평가하는 데 유용함을 보여줍니다. 이는 단순한 정확도가 아닌, 윤리적이고 공정한 AI 시스템 구축을 위한 중요한 발걸음이라 할 수 있습니다. LLM이 고위험도 의사 결정에 활용될 때, 단순한 효율성 뿐 아니라 공정성과 윤리성에 대한 면밀한 검토가 필수적임을 시사하는 연구 결과입니다. 앞으로 더욱 다양한 상황에서 보르다 점수와 같은 새로운 평가 지표의 활용이 기대됩니다. 이는 단순히 기술적 발전뿐 아니라, 사회적 책임을 다하는 AI 개발에 대한 중요한 시사점을 제공합니다. 🤔