LLM 에이전트 기반 고객 의도 발견 및 인식: 혁신적인 토픽 모델링 및 합성 데이터 활용

본 연구는 LLM 에이전트 기반의 혁신적인 토픽 모델링과 합성 데이터 생성을 통해 AI 시스템에서의 고객 의도 발견 및 인식 문제를 해결하는 방법을 제시합니다. 계층적 토픽 모델링을 통해 고객 의도의 특이성과 다양성을 향상시키고, 합성 데이터를 활용하여 콜드 스타트 문제와 데이터 부족 문제를 효과적으로 해결합니다. 실험 결과, 제안된 방법은 의도 인식 성능을 크게 향상시키는 것으로 나타났습니다.

AI 시스템에서 고객 의도를 정확하게 이해하고 인식하는 것은 매우 중요합니다. 특히 짧은 발화와 콜드 스타트 문제(새로운 상품이나 서비스에 대한 충분한 실제 사용자 데이터가 없는 상황)가 특징적인 도메인에서는 더욱 그렇습니다. 기존의 방법으로는 고객 발화의 낮은 단어 공동 출현 빈도와 높은 용어 변동성으로 인해 사용자의 필요를 명확하게 구분하고 합성 쿼리를 준비하는 데 어려움이 있습니다.

Aaron Rodrigues, Mahmood Hegazy, Azzam Naeem 세 연구원은 이러한 문제를 해결하기 위해 에이전트 LLM 프레임워크를 기반으로 한 토픽 모델링 및 합성 쿼리 생성 방법을 제시했습니다. 이 연구는 단순히 기존 방법의 한계를 지적하는 데 그치지 않고, 실제적인 해결책을 제시하며 AI 분야의 혁신적인 발전을 보여줍니다.

단계별 접근 방식:

1. 계층적 토픽 모델링 및 의도 발견: 36개의 일반적인 사용자 의도를 278개의 세분화된 의도로 확장하여 LLM의 토픽 특이성 및 다양성 향상 가능성을 입증했습니다. 이는 단순한 분류를 넘어, 고객의 미묘한 의도까지도 포착할 수 있는 능력을 보여주는 중요한 결과입니다.

2. 합성 사용자 쿼리 데이터 생성: 새롭게 발견된 의도를 지원하고 콜드 스타트 문제를 해결하기 위해 합성 사용자 쿼리 데이터를 생성했습니다. 이는 실제 발화를 보완하고 특히 데이터가 부족한 환경에서 인간의 주석 의존성을 줄이는 데 큰 도움이 됩니다. 인공지능의 학습 데이터 확보 문제에 대한 실용적인 해결책을 제시한 부분입니다.

3. LLM 기반의 효율성: 실험 결과, 토픽 확장 후 토픽 일관성 및 관련성이 크게 향상되었고, 적은 수의 샘플을 사용한 몇-샷 프롬프팅을 통해 합성 쿼리의 품질과 유용성이 향상되었으며, 다양성은 유지되었습니다. 또한 LLM이 생성한 의도 설명과 키워드가 합성 쿼리 생성에 대한 컨텍스트로 인간이 직접 만든 버전을 효과적으로 대체할 수 있음을 보여주었습니다. 이는 인간의 개입을 최소화하면서 AI 시스템의 성능을 향상시킬 수 있음을 시사합니다.

결론적으로, 이 연구는 LLM 에이전트의 확장성과 유용성을 토픽 모델링에서 강조하고, 합성 발화를 전략적으로 활용하여 의도 인식을 위한 데이터셋의 변동성과 적용 범위를 향상시키는 방법을 제시합니다. 동적 도메인에서의 새로운 고객 의도를 온라인으로 발견하고 인식하기 위한 포괄적이고 강력한 프레임워크를 제공하여 AI 기반 서비스의 지능화를 한 단계 더 발전시킬 것으로 기대됩니다. 이는 단순한 기술적 발전을 넘어, 고객 중심의 AI 서비스 구축에 중요한 이정표를 제시한다고 볼 수 있습니다.