획기적인 AI 벤치마킹: EgoNormia가 밝히는 사회적 규범 이해의 실체

EgoNormia 데이터셋을 활용한 연구는 최첨단 VLM의 사회적 규범 이해 능력 부족을 밝히고, 이를 개선할 가능성을 제시함으로써 AI의 윤리적이고 안전한 발전에 중요한 시사점을 제공합니다.

인간의 활동은 사회적 규범에 의해 조절됩니다. 하지만 기계는, 특히 물리적, 사회적 맥락에서 규범을 이해하고 추론하는 능력이 부족합니다. MohammadHossein Rezaei 등 연구진이 발표한 논문 "EgoNormia: Benchmarking Physical Social Norm Understanding"은 이러한 문제를 해결하기 위한 중요한 발걸음을 내딛었습니다.

EgoNormia: 1,853개의 일상 영상 데이터로 사회적 규범 이해 평가

연구진은 1,853개의 1인칭 시점(ego-centric) 영상 데이터셋인 EgoNormia를 구축했습니다. 각 영상에는 사회적 규범(안전, 프라이버시, 공간, 예의, 협력, 조정/능동성, 의사소통/가독성 등 7가지)을 평가하는 두 개의 질문이 포함되어 있습니다. 데이터셋 구축을 위해 영상 샘플링, 자동 답변 생성, 필터링, 인간 검증 등의 혁신적인 파이프라인을 제시했습니다. 이는 대규모 데이터셋 구축의 새로운 가능성을 보여주는 사례입니다.

최첨단 VLM의 충격적인 성능: 45% vs 92%

놀랍게도, 최첨단 VLM의 EgoNormia 평가 점수는 45%에 불과했습니다. 반면, 인간의 평균 점수는 92%였습니다. 이는 현재의 VLM이 사회적 규범을 제대로 이해하지 못하고 있으며, 안전, 프라이버시, 협력, 의사소통 능력 부족 등 실제 세계 적용 시 심각한 위험성을 내포하고 있음을 시사합니다. 특히 안전과 프라이버시 측면에서의 취약성은 매우 우려할 만한 수준입니다.

EgoNormia 기반 VLM 성능 향상의 가능성

하지만 희망적인 소식도 있습니다. 연구진은 검색 기반 생성 방법을 통해 EgoNormia 데이터셋을 활용하여 VLM의 규범적 추론 능력을 향상시킬 수 있음을 보여주었습니다. 이는 EgoNormia가 단순한 평가 도구를 넘어, AI의 사회적 규범 이해 능력 향상에 중요한 역할을 할 수 있음을 의미합니다.

결론: 사회적 규범 이해, AI 발전의 필수 과제

EgoNormia는 AI의 사회적 규범 이해 능력에 대한 냉정한 현실을 보여주는 동시에, 향상의 가능성을 제시합니다. 앞으로 AI 기술의 윤리적이고 안전한 발전을 위해서는 사회적 규범 이해 능력 향상이 필수적이며, EgoNormia와 같은 벤치마킹 도구의 역할이 더욱 중요해질 것입니다. 이 연구는 AI 개발자들에게 중요한 메시지를 전달합니다. 단순한 성능 향상을 넘어, AI가 인간 사회의 규범을 이해하고 존중하는 능력을 갖추도록 하는 노력이 필요합니다. 이는 AI의 안전하고 윤리적인 발전을 위한 중요한 전환점이 될 것입니다.