AI 공정성 확보의 혁신: FairSHAP 프레임워크

Lin Zhu, Yijun Bian, Lei You 등 연구진이 개발한 FairSHAP 프레임워크는 Shapley value attribution을 활용하여 AI 모델의 공정성을 향상시키는 혁신적인 전처리 방식입니다. 설명 가능성, 데이터 무결성 유지, 그리고 모델 성능 개선 가능성까지 고려하여 개발되었으며, 다양한 데이터셋에서 효과가 검증되었습니다.

AI가 사회 전반에 걸쳐 광범위하게 활용되는 가운데, AI 모델의 공정성 확보는 더 이상 선택이 아닌 필수가 되었습니다. 특히, 의료, 금융 등 고위험 영역에서의 편향된 의사결정은 심각한 사회적 문제를 야기할 수 있습니다. 하지만 기존의 머신러닝 모델 전처리 방식들은 어떤 특징이나 데이터가 불공정성에 기여하는지에 대한 투명한 메커니즘을 제공하지 못하는 경우가 많았습니다. 이는 데이터 수정의 근거를 불분명하게 만들고, 신뢰도를 저해하는 요인이 되었습니다.

Lin Zhu, Yijun Bian, Lei You 등 연구진이 개발한 FairSHAP은 이러한 문제에 대한 혁신적인 해결책을 제시합니다. FairSHAP은 Shapley value attribution이라는 설명 가능한 AI 기법을 활용하여 개별 및 집단 공정성을 모두 향상시키는 새로운 전처리 프레임워크입니다. 핵심 아이디어는 Shapley value를 이용하여 공정성에 중요한 영향을 미치는 데이터 인스턴스를 식별하고, 민감한 그룹 간의 인스턴스 매칭을 통해 이러한 인스턴스를 체계적으로 수정하는 것입니다.

FairSHAP의 핵심 강점은 다음과 같습니다.

• 설명 가능성(Interpretability): Shapley value를 사용하여 불공정성의 원인을 명확하게 파악하고, 데이터 수정 과정의 투명성을 확보합니다.
• 개별 및 집단 공정성 향상: 개별 공정성 지표인 차별적 위험을 줄이는 동시에, 집단 공정성 지표인 인구 통계적 동등성 및 기회 균등성을 향상시킵니다.
• 데이터 무결성 유지: 데이터를 최소한으로 변경하면서 공정성을 향상시키므로 데이터의 본래 의미를 유지합니다.
• 모델 성능 개선 가능성: 경우에 따라 예측 성능까지 향상시키는 효과를 보입니다.
• 모델 독립성: 특정 모델에 종속되지 않고 다양한 머신러닝 파이프라인에 적용 가능합니다.

연구진은 다양한 표 형식 데이터셋을 사용하여 FairSHAP의 효과를 실험적으로 검증하였으며, 그 결과는 논문에 자세히 제시되어 있습니다. FairSHAP의 코드는 GitHub에서 공개되어 있습니다. 이를 통해 더 많은 연구자들이 FairSHAP을 활용하여 AI 모델의 공정성을 향상시키고, 더욱 공정하고 신뢰할 수 있는 AI 시스템 구축에 기여할 수 있을 것으로 기대됩니다.

결론적으로, FairSHAP은 AI 공정성 문제에 대한 혁신적인 접근 방식을 제시하며, 향후 AI 개발에 중요한 영향을 미칠 것으로 예상됩니다.