WildFrame: 인간과 거대언어모델(LLM), 정보 프레이밍에 대한 놀라운 공통점

이스라엘 연구진이 발표한 연구에 따르면, 최첨단 LLM들은 인간과 마찬가지로 정보의 제시 방식(프레이밍)에 영향을 받습니다. WildFrame 데이터셋을 활용한 실험 결과, 모든 LLM이 긍정적 프레이밍에 더 민감하게 반응하는 것으로 나타났으며, 이는 LLM 개발 및 응용에 중요한 시사점을 제공합니다.

인간은 정보가 제시되는 방식에 따라 판단이 달라지는 '프레이밍 효과'를 경험합니다. 긍정적으로 표현된 정보와 부정적으로 표현된 정보는 같은 내용이라도 전혀 다른 반응을 불러일으킬 수 있죠. 그런데 최근, 인공지능 분야에서 흥미로운 연구 결과가 발표되었습니다. 이스라엘 연구진(Gili Lior, Liron Nacchace, Gabriel Stanovsky)이 발표한 논문 "WildFrame: Comparing Framing in Humans and LLMs on Naturally Occurring Texts"에 따르면, 거대언어모델(LLM) 역시 인간과 마찬가지로 프레이밍 효과에 영향을 받는다는 사실이 밝혀졌습니다.

기존 연구들은 대부분 합성 데이터를 사용하여 LLM의 프레이밍 효과를 조사했습니다. 하지만 이번 연구는 실제 자연어 문장을 사용하여 인간과 LLM의 반응을 직접 비교 분석했다는 점에서 큰 의미를 가집니다. 연구진은 'WildFrame'이라는 새로운 데이터셋을 구축했습니다. 실제 세상에서 발췌한 문장들을 긍정적 또는 부정적으로 재구성하고, 이에 대한 인간의 감정 반응을 수집하여 LLM의 반응과 비교한 것이죠.

8개의 최첨단 LLM을 WildFrame 데이터셋으로 평가한 결과는 놀라웠습니다. 모든 LLM이 인간과 유사한 프레이밍 효과를 보였고, 특히 긍정적 프레이밍에 더 크게 영향을 받는 것으로 나타났습니다. 인간과 LLM의 반응 상관관계는 0.57 이상으로 매우 높은 수준이었습니다. 이는 LLM이 단순히 문장을 처리하는 것이 아니라, 인간처럼 정보의 맥락과 표현 방식을 감지하고 반응한다는 것을 시사합니다.

이 연구는 단순한 학술적 발견을 넘어, LLM 개발 및 응용에 중요한 시사점을 제공합니다. 모델 개발자들은 이러한 프레이밍 효과를 활용하거나 완화하는 전략을 개발할 수 있습니다. 예를 들어, 특정 목표를 달성하기 위해 정보를 긍정적으로 프레이밍하는 기술을 활용하거나, 편향된 프레이밍 효과를 줄이기 위한 기술을 개발할 수 있겠죠. 앞으로 LLM이 인간과 더욱 자연스럽고 효과적으로 소통하기 위해서는 프레이밍 효과에 대한 깊이 있는 이해가 필수적입니다. WildFrame 데이터셋과 이번 연구 결과는 이러한 노력에 중요한 기여를 할 것으로 기대됩니다.