생성형 AI의 위험, 정보 중심 온톨로지로 관리한다: IEEE P3396 표준을 중심으로

본 기사는 생성형 AI의 위험을 정보 중심 온톨로지 기반의 프레임워크를 통해 체계적으로 평가하고 관리하는 새로운 방법을 제시하는 연구에 대해 논의합니다. IEEE P3396 표준을 기반으로, 결과 위험에 초점을 맞추고 정보 유형별 위험과 책임을 명확히 함으로써 책임 있는 AI 혁신을 위한 길을 제시합니다.

최근 생성형 AI는 콘텐츠 제작과 의사결정 지원 분야에서 혁신을 일으키고 있지만, 동시에 전례 없는 위험도 야기하고 있습니다. Richard J. Tong 등 연구진이 발표한 논문 "A First-Principles Based Risk Assessment Framework and the IEEE P3396 Standard"는 이러한 위험을 체계적으로 평가하고 관리하기 위한 획기적인 프레임워크를 제시합니다. 이 논문은 IEEE P3396 (AI 위험, 안전, 신뢰성 및 책임에 대한 권장 사례) 표준의 이론적 기반을 제공하며, 특히 생성형 AI 거버넌스에서 결과 위험(outcome risks) 에 우선순위를 두어야 한다는 점을 강조합니다.

기존의 접근 방식과 달리, 이 연구는 정보 중심적 온톨로지(information-centric ontology) 를 활용하여 AI 생성 결과물을 네 가지 범주로 분류합니다.

1. 지각 수준 정보(Perception-level information): AI가 감지하고 수집한 원시 데이터
2. 지식 수준 정보(Knowledge-level information): AI가 처리하고 분석한 정보, 지식
3. 결정/행동 계획 정보(Decision/Action plan information): AI가 제안하는 행동 방침
4. 제어 토큰(Control tokens): 접근 권한이나 자원 할당 지시 등

이러한 분류는 각 정보 유형이 내포하는 고유한 위험(예: 기만, 허위 정보, 안전하지 않은 권장 사항, 보안 위반)을 식별하고, 개발자, 배포자, 사용자, 규제 기관 등 이해관계자에게 책임을 명확하게 부여하는 데 도움이 됩니다. 예를 들어, 지식 수준 정보의 오류는 허위 정보 유포로 이어질 수 있으며, 결정/행동 계획 정보의 오류는 안전하지 않은 권장 사항으로 이어질 수 있습니다. 이러한 위험은 각 정보 유형에 맞는 위험 지표와 완화 전략을 통해 관리되어야 합니다.

본 연구는 정보, 인간 행위, 인지의 본질에 기반한 원칙적인 접근 방식을 통해 AI 결과물이 인간의 이해와 행동에 미치는 영향을 명확히 평가합니다. 이는 광범위한 애플리케이션 기반 위험 분류와 달리, 명확한 책임과 목표 지향적 안전 장치를 지원하는 원칙적인 AI 위험 평가 방법을 제공합니다. 논문에는 정보 유형, 위험 및 책임을 매핑하는 예시 표가 포함되어 있어 실제 적용에 도움을 줍니다.

결론적으로, 이 연구는 IEEE P3396 권장 사례 및 더 넓은 AI 거버넌스에 대한 엄격하고 원칙적인 기반을 제공하여 책임 있는 혁신을 가능하게 합니다. 생성형 AI의 위험을 효과적으로 관리하고, 미래의 AI 기술 발전에 대한 신뢰를 구축하는 데 중요한 이정표가 될 것입니다.