컴퓨터 비전 DNN에서 사후 개념 임베딩의 배경 편향에 대한 연구

본 연구는 컴퓨터 비전 DNN에서 사후 개념 임베딩의 배경 편향 문제를 다루며, Net2Vec 기반 기법의 배경 편향 취약성을 밝히고, 저비용 설정에서 배경 강건성을 향상시키는 방안을 제시합니다.

숨겨진 편향: 인공지능의 '눈'이 보지 못하는 것들

설명 가능한 인공지능(XAI) 분야는 급속도로 발전하고 있습니다. 특히, 개념 기반 설명 가능한 인공지능(C-XAI)은 인간이 이해할 수 있는 개념을 심층 신경망(DNN)의 잠재 공간에 어떻게 임베딩하는지 연구하는 흥미로운 분야입니다. 기존의 사후(post-hoc) 접근 방식은 특정 개념을 설명하는 몇 가지 예시를 사용하여 DNN 잠재 공간에서 개념의 임베딩을 데이터 기반 기술로 결정합니다. 이는 다양한 대상 클래스 간의 편향을 밝히는 데 유용하게 사용되어 왔습니다.

하지만, Gesina Schwalbe 등 8명의 연구자는 중요한 질문을 던집니다. 훈련 과정에서 배경은 대부분 통제되지 않는데, 최첨단 데이터 기반 사후 C-XAI 접근 방식 자체가 배경에 대한 편향에 얼마나 취약할까요? 예를 들어, 야생 동물은 대부분 초목 배경에서 나타나고 도로에서는 거의 나타나지 않습니다. 간단하고 강력한 C-XAI 방법조차도 이러한 지름길을 이용하여 성능을 향상시킬 수 있습니다. 따라서 도로 위 동물과 같이 개념의 극단적인 경우에 성능 저하가 발생하더라도 발견되지 않을 위험이 있습니다.

이 연구는 Net2Vec 기반 개념 분할 기법이 배경 편향, 특히 도로 장면에서의 성능 저하와 같은 심각한 편향을 빈번하게 포착한다는 것을 확인했습니다. 연구진은 2개의 데이터셋에서 50개 이상의 개념과 7개의 다양한 DNN 아키텍처를 사용하여 배경 무작위화 분야의 3가지 기존 기법을 비교 분석했습니다. 그 결과, 저비용 설정에서도 귀중한 통찰력을 제공하고 배경 강건성을 향상시킬 수 있음을 보여줍니다. 이는 단순히 AI의 성능 향상을 넘어, AI의 공정성과 신뢰성 확보라는 중요한 과제에 대한 해결책을 제시하는 연구입니다. AI가 우리 사회에 더욱 안전하고 유용하게 사용되기 위해서는 이러한 배경 편향에 대한 면밀한 분석과 해결책 마련이 필수적입니다. 본 연구는 그 중요한 첫걸음이 될 것입니다.

결론적으로, 이 연구는 AI 시스템의 배경 편향에 대한 인식을 높이고, 더욱 견고하고 신뢰할 수 있는 AI 시스템 개발을 위한 중요한 단서를 제공합니다.