혁신적인 벤치마크 '복희': 고대 중국어 이해와 생성의 새로운 지평을 열다

고대 중국어 처리의 어려움을 해결하기 위해 개발된 새로운 벤치마크 '복희(Fùxì)'는 이해와 생성 능력을 종합적으로 평가하고, 최첨단 LLM의 성능을 분석하여 향후 AI 개발 방향을 제시합니다.

난관에 봉착한 AI: 고대 중국어의 벽

최근 급격한 발전을 거듭하는 인공지능(AI)이지만, 고대 중국어 처리에는 여전히 어려움을 겪고 있습니다. 복잡한 문법 구조와 풍부한 문화적 맥락은 최첨단 대규모 언어 모델(LLM)에게도 넘기 힘든 장벽으로 작용하고 있죠. 기존 벤치마크는 주로 다지선다형 이해력 평가에 집중하여, 고대 중국어를 생성하는 AI의 능력은 제대로 평가하지 못했습니다.

복희(Fùxì): 고대 중국어의 새로운 기준

상칭 자오(Shangqing Zhao) 등 연구진은 이러한 한계를 극복하기 위해 새로운 벤치마크인 **'복희(Fùxì)'**를 개발했습니다. 복희는 21가지 다양한 과제를 통해 LLM의 이해 및 생성 능력을 종합적으로 평가합니다. 시, 대구 짓기와 같은 새로운 과제도 포함되어 있어 기존 벤치마크보다 훨씬 포괄적입니다.

복희의 가장 큰 특징은 고대 중국어 생성에 특화된 평가 지표를 사용한다는 점입니다. 규칙 기반 검증과 미세 조정된 LLM 평가자를 결합하여 언어적 정확성과 문화적 진정성까지 평가합니다. 단순히 문법적으로 맞는지 여부뿐 아니라, 고대 중국 문화에 얼마나 부합하는지까지 고려하는 것이죠.

놀라운 결과: 생성의 어려움

연구진은 최첨단 LLM들을 복희 벤치마크로 평가했습니다. 흥미로운 결과가 나왔는데요. LLM들은 이해 과제에서는 상당히 좋은 성능을 보였지만, 생성 과제, 특히 깊은 문화적 지식과 고전적 형식을 요구하는 과제에서는 훨씬 낮은 성능을 보였습니다. 이는 고대 중국어 생성이 얼마나 어려운 과제인지 보여주는 결과입니다.

미래를 위한 발걸음: 공개된 벤치마크

복희 벤치마크, 평가 도구, 그리고 기준 성과는 모두 공개되어 있습니다. 이를 통해 연구자들은 고대 중국어 처리 기술을 더욱 발전시킬 수 있을 것입니다. 복희는 고대 중국어 처리 분야의 새로운 이정표가 될 뿐 아니라, 향후 LLM 개발 방향에 대한 귀중한 시사점을 제공합니다. AI가 고대 중국어의 아름다움과 깊이를 더 잘 이해하고 생성하는 날을 기대해 봅니다.