챗GPT가 바꿀 법률 시장: 사용자 질문 분석으로 본 AI 법률 상담의 미래


체코의 Frank Bold 그룹 연구는 GPT-4를 이용한 법률 질문 분석을 통해 LLM 기반 법률 서비스의 현황과 미래 방향을 제시합니다. 사용자 질문의 유형 분석을 통해, LLM이 단순 정보 제공을 넘어 사용자 맞춤형 솔루션 제공 및 신뢰도 향상에 집중해야 함을 시사합니다.

related iamge

프랑크 볼드(Frank Bold) 라는 체코 전문가 그룹의 놀라운 연구 결과가 발표되었습니다. 2023년 5월 3일부터 7월 25일까지 무려 1,252명의 사용자가 GPT-4를 이용해 3,847건의 법률 관련 질문을 했다는 것입니다! 단순히 GPT-4의 정확성만을 따지는 기존 연구와 달리, 이번 연구는 사용자들이 어떤 질문을 하는지, 어떤 방식으로 상호작용하는지에 초점을 맞췄다는 점에서 큰 의미를 지닙니다.

연구팀은 GPT-4를 이용해 사용자 질문을 다음과 같이 세 가지 기준으로 분류했습니다.

  1. 사실 정보 제공 여부: 사용자의 70.05%가 자신의 문제에 대한 사실 정보 없이 질문했습니다. 단순한 질문보다는, 상황에 대한 구체적인 정보 제공 없이 법률 자문을 요청하는 경우가 더 많았다는 것을 의미합니다. 이는 LLM 기반 법률 서비스가 사용자에게 필요한 정보를 효과적으로 수집하는 방법에 대한 고민을 필요로 함을 시사합니다.

  2. 정보 획득 목적: 사용자의 64.93%가 법률 정보를, 35.07%는 행동 방침에 대한 조언을 요청했습니다. 단순히 법률 조항을 찾는 것을 넘어, 실제 상황에 맞는 해결책을 원하는 사용자가 상당수임을 알 수 있습니다. 이는 LLM이 단순히 정보를 제공하는 것을 넘어, 사용자의 상황에 맞는 맞춤형 솔루션을 제시해야 함을 의미합니다.

  3. 모델 제어 여부: 사용자의 71.43%는 모델의 답변에 대한 특별한 요구사항 없이 질문했지만, 28.57%는 모델의 답변 방식을 제어하려는 시도를 보였습니다. 이는 사용자가 LLM의 답변에 대한 신뢰도와 통제력을 동시에 원한다는 것을 보여줍니다. LLM 기반 법률 서비스는 투명성과 설명 가능성을 높여 사용자의 신뢰를 얻는 것이 중요하다는 것을 강조합니다.

이 연구는 LLM을 활용한 법률 상담 서비스의 가능성과 함께, 개발 과정에서 고려해야 할 사용자 중심의 요소들을 명확하게 제시하고 있습니다. 앞으로 AI가 법률 서비스의 미래를 어떻게 바꿀지, 그리고 그 과정에서 사용자 경험을 어떻게 향상시킬지에 대한 흥미로운 질문을 던지는 연구 결과입니다. 특히, 사용자의 다양한 질문 유형을 정량적, 정성적으로 분석하여, 실제 법률 서비스에 대한 요구를 보다 잘 이해할 수 있도록 도와주는 점이 인상적입니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] LLMs & Legal Aid: Understanding Legal Needs Exhibited Through User Queries

Published:  (Updated: )

Author: Michal Kuk, Jakub Harasta

http://arxiv.org/abs/2501.01711v1