오픈소스 기반 시스템 메시지 생성 파이프라인 'SysGen' 등장: 사용자 맞춤형 AI 대화의 새로운 지평

정민별, 조정호, 강민수, 정다운, 홍택규 연구원 팀이 개발한 'SysGen'은 오픈소스 모델을 활용하여 시스템 메시지를 효율적으로 생성하는 파이프라인입니다. Multifacet 벤치마크에서 성능 향상을 확인했으며, 다른 벤치마크에는 거의 영향을 미치지 않았습니다. 다양한 시스템 메시지의 중요성을 강조하며, 사용자 맞춤형 AI 대화 시스템 발전에 기여할 것으로 기대됩니다.

오픈소스 기반 시스템 메시지 생성 파이프라인 'SysGen' 등장: 사용자 맞춤형 AI 대화의 새로운 지평

최근 급부상하는 대규모 언어 모델(LLM)에서 시스템 메시지는 사용자와의 상호작용에 있어 핵심적인 역할을 수행합니다. 마치 대화의 '시작 버튼'과 같은 것이죠. 적절한 시스템 메시지를 통해 사용자는 AI에게 특정 역할을 부여하고, 원하는 작업을 수행하게 하며, 배경 정보를 제공하고, 원하는 출력 형식과 소통 방식까지 지정할 수 있습니다.

하지만, 현실적으로 공개된 데이터셋에는 시스템 메시지가 부족하거나, 상업적 라이선스 제약으로 활용이 어려운 경우가 많습니다. 따라서 사용자의 지시사항에 맞춰 시스템 메시지를 수동으로 라벨링하는 것은 막대한 자원을 필요로 하는 어려운 작업입니다.

정민별, 조정호, 강민수, 정다운, 홍택규 연구원 팀은 이러한 어려움을 해결하기 위해, 시스템 메시지가 없는 지도 학습 데이터셋에서도 시스템 메시지를 생성하고, AI의 응답과의 일치도를 높이는 파이프라인, **'SysGen'**을 개발했습니다.

SysGen은 기존 데이터셋의 한계를 뛰어넘어, 효율적으로 시스템 메시지를 생성하는 혁신적인 방법을 제시합니다. 연구팀은 다양한 오픈소스 모델을 사용하여 실험을 진행했고, 그 결과 Multifacet 벤치마크에서 시스템 메시지와 모델 응답 간의 일치도가 크게 향상되었음을 확인했습니다. 놀라운 점은 Open LLM Leaderboard 2 와 같은 다른 벤치마크에 대한 성능 저하가 거의 없었다는 것입니다.

연구팀은 또한 다양한 시스템 메시지를 사용하는 것이 다양한 상황에 대한 적응력을 높이는 데 중요하다는 것을 질적 분석을 통해 밝혀냈습니다. 이는 사용자의 의도를 더욱 정확하게 반영하고, 보다 자연스럽고 유용한 AI 대화를 가능하게 하는 중요한 발견입니다. SysGen은 오픈소스 모델 기반의 AI 대화 시스템의 발전에 크게 기여할 것으로 기대됩니다. 앞으로 더욱 발전된 AI 대화 시스템을 통해 우리는 AI와 더욱 자연스럽고 효율적인 소통을 경험하게 될 것입니다.