저자원 환경에서의 신뢰할 수 있는 AI 답변 생성: 자동차 공학 분야를 중심으로

최나영, 변혜진 등 연구팀은 저자원 환경에서의 RAG 기반 LLM 시스템을 개선하여 자동차 공학 분야에서 사실 정확성, 정보성, 유용성을 향상시켰습니다. 다양한 데이터 통합, 정확한 정보 검색, 답변 추적성 강화 전략을 통해 LLM의 신뢰성을 높였습니다.

최나영, 변혜진, 정앤드류, 백엘리사, 이신선, 최진호 박사 연구팀은 최근 '신뢰할 수 있는 답변, 복잡한 데이터: 저자원 환경에서의 도메인 전문가 시스템을 위한 검색 증강 생성의 격차 해소' 라는 제목의 논문을 통해, 저자원 환경에서의 LLM(대규모 언어 모델)의 한계를 극복하는 흥미로운 연구 결과를 발표했습니다. LLM은 환각 현상(hallucination)으로 인해 부정확한 정보를 생성할 위험이 있는데, 특히 전문적인 지식이 필요한 도메인 전문가 시스템에서는 이 문제가 더욱 심각해집니다.

연구팀은 이 문제를 해결하기 위해 RAG(Retrieval-Augmented Generation) 기술에 주목했습니다. RAG는 LLM이 외부 데이터베이스에서 관련 정보를 검색하여 답변을 생성하는 기술로, 환각 현상을 줄이고 신뢰성을 높이는 데 효과적입니다. 하지만 저자원 환경에서는 다양한 형태의 데이터를 처리하고, 정확한 정보를 검색하는 것이 어렵다는 한계가 있습니다.

이러한 어려움을 극복하기 위해, 연구팀은 다음과 같은 세 가지 핵심 전략을 제시했습니다.

1. 다양한 데이터 통합: 다양한 형태(멀티모달)의 원시 데이터를 구조화된 말뭉치(corpus)와 질의응답(Q&A) 쌍으로 변환하는 데이터 생성 파이프라인을 개발했습니다. 이를 통해 LLM이 효율적으로 정보를 검색하고 처리할 수 있도록 했습니다.
2. 정확한 정보 검색: 고급 재순위 지정(re-ranking) 단계를 통해 검색 정확도를 개선했습니다. 보다 정확한 정보를 검색함으로써 LLM이 신뢰할 수 있는 답변을 생성할 수 있도록 지원했습니다.
3. 답변 추적성 강화: 참조 일치 알고리즘(reference matching algorithm)을 도입하여 답변의 추적성을 높였습니다. 이를 통해 LLM이 어떤 정보를 기반으로 답변을 생성했는지 명확하게 파악할 수 있도록 했습니다.

연구팀은 이렇게 개발된 시스템을 자동차 공학 분야에 적용하여 실험을 진행했습니다. 1~5점 척도를 사용한 LLM 기반 평가 결과, 사실 정확성(+1.94), 정보성(+1.16), 유용성(+1.67)이 기존 RAG를 사용하지 않은 시스템보다 향상되는 것을 확인했습니다. 이는 제시된 방법론이 다양한 측면에서 효과적임을 보여주는 결과입니다.

이번 연구는 저자원 환경에서도 신뢰할 수 있는 AI 답변 생성 시스템을 구축하는 데 중요한 이정표를 제시했습니다. 특히 자동차 공학 분야와 같이 전문 지식이 필요한 분야에서 AI의 활용 가능성을 크게 높일 것으로 기대됩니다. 향후 연구에서는 더욱 다양한 도메인과 데이터 형태에 대한 적용 및 확장 가능성을 검토할 필요가 있습니다.