군사 AI, 인간 중심의 시험 평가가 미래를 결정한다
군사 AI 개발 및 배포의 윤리적 문제 해결을 위해 인간 중심적 시험 및 평가(TEVV) 프레임워크 구축이 필수적이며, 인간 사용자의 지속적인 참여, 기술 전문가와 정책 입안자 간의 협력, 그리고 실제 운영 환경을 고려한 평가가 중요함을 강조하는 내용입니다.

군사 AI의 윤리적 딜레마: 인간 중심 평가의 중요성
REAIM 2024 청사진은 군사 영역의 AI 애플리케이션이 윤리적이고 인간 중심적이어야 하며, 인간이 그 사용 및 영향에 대해 책임을 져야 함을 강조합니다. 데이비드 헬머를 비롯한 다수의 연구자들은 최근 논문에서 이러한 윤리적 문제 해결을 위한 핵심 전략으로 엄격한 시험 및 평가, 검증 및 확인(TEVV) 프레임워크의 개발을 제시했습니다. 이는 단순히 기술적인 검증을 넘어, 인간 사용자의 경험과 시스템의 실제 작동 방식을 포괄하는 인간 중심적인 접근 방식을 요구합니다.
인간 중심 평가: 시스템 전반의 지속적인 모니터링
논문은 기존의 인간 요소 분석 방법을 AI 시스템에 적용하는 것을 넘어, 배치된 AI 시스템의 지속적인 모니터링 및 평가를 위한 인간 중심적 TEVV 방법론의 필요성을 강조합니다. 이는 AI 시스템의 수명 주기 전반에 걸쳐 인간 사용자의 참여를 보장하는 것을 의미하며, '인간을 시스템의 구성 요소로 포함'하는 언어의 변화까지도 제안하고 있습니다. 이러한 접근 방식을 지원하는 표준, 요구 사항, 평가 지표 등이 개발되어야 함은 물론입니다.
기술과 정책의 조화: 소통과 협력의 중요성
기술 전문가와 정책 입안자 간의 지속적인 대화 또한 필수적입니다. 단순한 대화가 아닌, 구체적인 목표를 가지고 시작되는 생산적인 대화를 통해 인간 중심적 TEVV를 위한 표준과 지표를 개발하고, 인간의 확장성 문제 및 테스트 가능 범위에 대한 영향 등을 고려해야 합니다. 기술 전문가와 비기술 전문가 간의 원활한 소통은 운영자와 정책 입안자가 시스템 사용으로 인한 위험을 이해하고 연구 개발을 개선하는 데 중요한 역할을 합니다.
책임있는 AI 배포를 위한 TEVV: 실제 운영 성능 반영
책임 있는 AI 배포를 위한 시험 및 평가는 인간 요소의 영향을 반영하여 실제 운영 환경에서 시스템 성능을 정확히 반영해야 합니다. AI 기반 시스템의 사용 및 의사 결정에 관여하는 사람들에게 TEVV 결과를 효과적으로 전달하는 방법 또한 중요하며, 이를 통해 위험 기반의 의사 결정을 지원할 수 있습니다. 결국, 인간 중심적 접근 방식을 통해 안전하고 윤리적인 군사 AI의 개발과 배포가 가능해집니다. 이는 단순한 기술적 문제가 아닌, 인류의 미래를 위한 필수적인 과제입니다.
Reference
[arxiv] Human-centred test and evaluation of military AI
Published: (Updated: )
Author: David Helmer, Michael Boardman, S. Kate Conroy, Adam J. Hepworth, Manoj Harjani
http://arxiv.org/abs/2412.01978v1