객관과 주관의 만남: LLM 기반 QoE 평가 프레임워크의 혁신

본 논문은 객관적 네트워크 지표와 주관적 사용자 댓글 분석을 결합한 새로운 QoE 평가 프레임워크를 제시합니다. LLM 기반 댓글 분석 및 네트워크 MOS 비교를 통해 네트워크 운영자는 사용자 경험을 실시간으로 모니터링하고, 문제 발생 시 신속하게 대응할 수 있습니다.

Parsa Hassani Shariat Panahi, Amir Hossein Jalilvand, M. Hasan Najafi 세 연구원이 발표한 논문, "Bridging Subjective and Objective QoE: Operator-Level Aggregation Using LLM-Based Comment Analysis and Network MOS Comparison"는 네트워크 운영자의 QoE(Quality of Experience) 평가 방식에 혁신을 가져올 획기적인 연구입니다. 이 연구는 객관적인 네트워크 모델링과 주관적인 사용자 인식을 통합한 이중 계층 프레임워크를 제시하여, 사용자의 실시간 스트리밍 경험을 보다 정확하고 효과적으로 평가하는 방법을 제시합니다.

객관적 지표와 주관적 경험의 조화

이 프레임워크는 먼저 객관적인 측면에서, ITU-T P.1203 기준 구현을 통해 계산된 MOS(Mean Opinion Score)를 사용하여 머신러닝 모델을 개발했습니다. 이 모델은 패킷 손실, 지연, 지터, 처리량과 같은 네트워크 매개변수만을 사용하여 사용자의 체감 화질을 정확하게 예측합니다. 비디오 콘텐츠나 클라이언트 측 계측에 의존하지 않아도 된다는 점이 놀랍습니다!

하지만 객관적인 수치만으로는 사용자의 경험을 완벽히 반영하기 어렵습니다. 따라서 연구팀은 주관적인 측면을 위해 라이브 스트림의 사용자 댓글을 분석하는 시스템을 개발했습니다. 무려 47,894개의 댓글을 분석하여 QoE와 관련된 34,000개의 댓글을 추출했습니다. 여기에 대규모 언어 모델(LLM)을 활용하여 각 댓글에 MOS 점수를 부여, 정량적인 분석을 가능하게 했습니다. 이는 단순히 긍정/부정으로 분류하는 것을 넘어, 정교한 주관적 경험 데이터를 확보한 셈입니다.

실시간 성능 모니터링 및 문제 해결

흥미로운 점은, 각 댓글에 인터넷 서비스 제공업체(ISP) 정보를 연결하고, 5분 간격으로 시간을 맞춰 시계열 분석을 가능하게 했다는 것입니다. 여기서 Delta MOS라는 새로운 지표가 도입되었는데, 이는 각 ISP의 성능이 플랫폼 전체 평균 대비 얼마나 벗어나는지를 측정하는 지표입니다. 이를 통해 네트워크 원격 측정 없이도 지역적인 서비스 장애를 빠르게 감지할 수 있습니다. 실제 제어된 장애 시뮬레이션을 통해 댓글 기반 추세만으로도 서비스 중단을 효과적으로 식별하는 것을 확인했습니다.

결론적으로, 이 연구는 객관적인 네트워크 데이터와 주관적인 사용자 피드백을 결합하여 QoE를 평가하는 새로운 시대를 열었습니다. 네트워크 운영자는 이 프레임워크를 통해 실시간으로 사용자 경험을 모니터링하고, 문제 발생 시 신속하게 대응할 수 있게 되었습니다. LLM과 머신러닝의 융합을 통해 사용자 경험 개선에 한 발 더 다가선 혁신적인 연구라 할 수 있습니다.