WritingBench: 생성형 글쓰기의 새로운 기준을 제시하다!

대규모 언어 모델(LLM)의 생성형 글쓰기 성능 평가를 위한 새로운 벤치마크 WritingBench가 개발되었습니다. 6개의 주요 영역과 100개의 하위 영역을 포괄하는 종합적인 평가와 질의에 따라 동적으로 평가 기준을 생성하는 혁신적인 프레임워크를 통해, 70억 매개변수 모델이 최첨단 성능에 근접하는 결과를 달성했습니다. 오픈소스로 공개되어 AI 글쓰기 분야의 발전에 크게 기여할 것으로 예상됩니다.

AI 글쓰기 평가의 혁신: WritingBench 등장

최근 괄목할 만한 발전을 이룬 대규모 언어 모델(LLM)은 놀라운 수준의 글쓰기 능력을 선보이고 있습니다. 하지만, 이러한 모델의 성능을 객관적으로 평가하는 것은 여전히 난제로 남아있습니다. 기존의 벤치마크들은 일반적인 텍스트 생성에 초점을 맞추거나 글쓰기 과제가 제한적이어서, 다양한 분야에 걸친 고품질 글쓰기의 요구사항을 충족시키지 못했습니다.

Wu Yuning 등 11명의 연구진이 이러한 문제점을 해결하고자 WritingBench라는 종합적인 벤치마크를 개발했습니다. WritingBench는 창의적인 글쓰기, 설득적인 글쓰기, 정보 전달적인 글쓰기, 기술적인 글쓰기 등 6개의 주요 글쓰기 영역과 100개의 하위 영역을 포괄하여 LLM의 다양한 글쓰기 능력을 종합적으로 평가할 수 있도록 설계되었습니다.

단순히 기존의 방식처럼 정해진 기준으로만 평가하는 것이 아니라, 질의에 따라 동적으로 평가 기준을 생성하는 혁신적인 프레임워크를 도입했습니다. 이를 통해 LLM은 각 상황에 맞는 적절한 평가 기준을 스스로 생성하고, 그에 따라 글의 스타일, 형식, 길이 등을 평가받게 됩니다. 더 나아가, 미세 조정된 평가 모델을 통해 기준에 맞는 점수를 매김으로써, 보다 객관적이고 정확한 평가가 가능해졌습니다.

놀랍게도, 이 프레임워크를 통해 70억 매개변수 모델이 최첨단(SOTA) 성능에 근접하는 결과를 보였습니다. 이는 WritingBench의 평가 시스템이 LLM의 글쓰기 능력을 효과적으로 평가할 수 있음을 보여주는 강력한 증거입니다.

연구진은 WritingBench 벤치마크와 함께 평가 도구 및 모듈식 프레임워크 구성 요소를 오픈 소스로 공개하여, 앞으로 LLM의 글쓰기 능력 발전에 크게 기여할 것으로 기대하고 있습니다. 이는 AI 글쓰기 분야의 획기적인 발전을 예고하는 중요한 성과입니다. AI 글쓰기의 미래가 WritingBench를 통해 새롭게 펼쳐질 것으로 기대됩니다.