대규모 언어 모델 에이전트의 불확실성: 새로운 관점이 필요하다

본 논문은 기존의 불확실성 정량화 방식의 한계를 지적하고, 대규모 언어 모델 에이전트의 상호작용적 특성을 고려한 새로운 불확실성 관리 및 전달 방식을 제안합니다. Underspecification, Interactive Learning, Output Uncertainty 등 세 가지 새로운 연구 방향을 제시하며, 이를 통해 LLM 에이전트와의 상호 작용을 더욱 투명하고 신뢰할 수 있으며 직관적으로 만들 수 있을 것으로 기대합니다.

최근 급속도로 발전하는 대규모 언어 모델(LLM)과 챗봇 에이전트는 때때로 잘못된 답변을 내놓는 것으로 알려져 있습니다. Michael Kirchhof, Gjergji Kasneci, Enkelejda Kasneci 세 연구자는 이러한 현상이 완전히 방지될 수 없다는 점을 강조하며, 새로운 연구 논문에서 기존의 불확실성 정량화 방식의 한계를 지적하고 있습니다. 논문 제목은 바로 "Position: Uncertainty Quantification Needs Reassessment for Large-language Model Agents" 입니다.

기존에는 알레아토릭(Aleatoric) 불확실성과 에피스테믹(Epistemic) 불확실성의 이분법적 구분을 통해 불확실성을 정량화하려는 시도가 많았습니다. 하지만 연구자들은 이러한 접근 방식이 LLM 에이전트가 사용자와 상호 작용하는 동적인 환경에서는 한계가 있다고 주장합니다. 특히, 기존 정의 자체가 모순되고 상호작용적인 환경에서는 의미가 퇴색된다는 점을 지적합니다.

그렇다면 어떤 새로운 관점이 필요할까요? 연구자들은 다음과 같은 세 가지 새로운 연구 방향을 제시합니다.

1. Underspecification Uncertainty: 사용자가 처음부터 모든 정보를 제공하지 않거나, 정확한 작업을 명시하지 않는 경우 발생하는 불확실성입니다. 즉, 사용자의 입력이 불완전하거나 모호할 때 발생하는 불확실성을 의미합니다. 예를 들어, “좋은 레스토랑을 추천해줘”라는 모호한 질문에 대해 에이전트가 어떤 기준으로 레스토랑을 추천해야 할지에 대한 불확실성이 여기에 해당됩니다.

2. Interactive Learning: 불확실성을 줄이기 위해 후속 질문을 하고 현재 상황에 대한 정보를 얻는 과정을 의미합니다. 즉, 에이전트가 사용자와의 상호 작용을 통해 정보를 얻고 불확실성을 줄여나가는 과정입니다. 예를 들어, 위의 질문에 대해 에이전트가 “어떤 종류의 음식을 선호하세요?” 와 같은 질문을 통해 정보를 얻는 것이 여기에 해당됩니다.

3. Output Uncertainty: 단순한 숫자로만 표현하는 것이 아니라, 풍부한 언어와 음성 공간을 활용하여 불확실성을 표현하는 방식입니다. 즉, 에이전트가 불확실성을 보다 직관적이고 이해하기 쉬운 방식으로 사용자에게 전달하는 방법을 연구하는 것입니다. 예를 들어, “제가 아는 한, 이 레스토랑은 훌륭합니다만, 최근 리뷰를 확인해 보시는 것이 좋겠습니다.” 와 같이 불확실성을 직접적으로 표현하는 것입니다.

이러한 새로운 불확실성 관리 및 전달 방식은 LLM 에이전트와의 상호 작용을 더욱 투명하고 신뢰할 수 있으며 직관적으로 만들 것으로 기대됩니다. 이는 단순히 정확한 답변을 제공하는 것을 넘어, 사용자와의 효과적인 소통을 위해 필수적인 요소임을 시사합니다. 앞으로 LLM 에이전트의 발전 방향에 대한 중요한 시사점을 제공하는 연구입니다.