챗GPT는 말과 행동이 다르다? LLM의 '선호도 불일치' 문제 심층 분석

Gu, Wang, Han 등의 연구진은 LLM의 '선언된 선호도'와 '드러난 선호도'의 불일치 문제를 밝히고, 이를 측정하는 새로운 방법을 제시했습니다. 실험 결과, 프롬프트의 미세한 변화에도 LLM의 선택이 크게 달라지는 현상이 관찰되어 LLM의 신뢰성과 윤리적 사용에 대한 우려를 제기합니다.

최근 급격한 발전을 이룬 대규모 언어 모델(LLM)은 인간의 가치와 부합하는 행동을 보여주는 것이 중요한 과제입니다. 하지만, Gu, Wang, Han 등의 연구진이 밝힌 놀라운 사실이 있습니다. 바로 LLM이 말로는 윤리적 원칙을 준수한다고 말하지만, 실제 행동 은 그렇지 않을 수 있다는 것입니다. 이 연구는 LLM의 '선언된 선호도'(말)와 '드러난 선호도'(행동) 사이의 불일치 문제를 심층적으로 분석했습니다.

겉과 속이 다른 AI? 선호도 불일치 측정의 새로운 시도

연구진은 이러한 선호도 불일치를 정량적으로 측정하는 새로운 방법을 제시했습니다. 다양한 상황을 담은 일련의 이진 선택 질문(forced binary choices)으로 구성된 풍부한 데이터셋을 만들어, 주요 LLM들에게 제시했습니다. 그리고 '일반적인 원칙'을 묻는 질문에 대한 응답(선언된 선호도)과, 구체적인 상황을 제시하는 질문에 대한 응답(드러난 선호도)을 비교, KL divergence와 같은 지표를 사용하여 불일치 정도를 측정했습니다.

충격적인 결과: 작은 변화에도 흔들리는 AI의 선택

실험 결과는 충격적이었습니다. 프롬프트의 형식이 약간만 바뀌어도, LLM의 선택이 크게 달라지는 현상이 빈번하게 관찰되었습니다. 이는 LLM의 의사결정 능력에 대한 이해와 제어가 부족함을 시사합니다. 이는 단순히 기술적인 문제를 넘어, 윤리, 공정성, 사회적 책임과 깊이 관련된 심각한 문제입니다.

AI의 미래, 그리고 우리의 책임

이 연구는 LLM이 인간과 직접 상호작용하는 서비스, 특히 도덕성과 공정성이 중요한 분야에 통합될 때 중요한 의미를 가집니다. 더욱이, LLM이 자율적인 작업을 수행하는 것을 고려할 때, 모든 중간 단계의 의사결정을 인간이 지속적으로 평가하는 것은 불가능하므로, 이러한 선호도 불일치를 인지하고 해결하는 것이 매우 중요합니다.

이 연구는 LLM의 신뢰성과 윤리적 사용에 대한 심각한 질문을 던지며, 앞으로 AI 기술 발전에 있어 '말'과 '행동'의 일치를 위한 더욱 심도 있는 연구와 노력이 절실히 필요함을 보여줍니다. AI 시대, 우리는 기술의 발전과 함께 그 책임 또한 잊어서는 안 됩니다.