AI 글쓰기의 질적 도약: 'AI-Slop'에서 'AI-Polish'로

본 연구는 AI 생성 텍스트의 글쓰기 품질 평가 및 향상을 위한 새로운 Writing Quality Reward Model (WQRM)을 제시합니다. WQRM은 기존 모델의 한계를 극복하고, 다양한 테스트에서 우수한 성능을 보이며, 전문가 평가에서도 높은 선호도를 얻었습니다. 이는 AI 글쓰기 시스템의 발전에 중요한 기여를 할 것으로 기대됩니다.

AI 글쓰기의 질적 도약: 'AI-Slop'에서 'AI-Polish'로

인공지능(AI)이 생성하는 텍스트가 창작, 저널리즘, 마케팅, 학술 논문 작성 등 다양한 분야에서 급속도로 확산되고 있습니다. AI 모델들은 사용자의 지시에 따라 일관되고 문법적으로 정확한 결과물을 생성할 수 있지만, Tuhin Chakrabarty, Philippe Laban, Chien-Sheng Wu 등의 연구진은 AI 생성 텍스트의 글쓰기 질 자체를 어떻게 평가하고 개선할 것인가라는 근본적인 질문을 던졌습니다.

그동안 글쓰기 품질 평가는 주관적이고 전문성을 요구한다는 이유로 AI 연구 분야에서 상대적으로 소외되어 왔습니다. 연구진은 먼저 다섯 개의 글쓰기 선호도 데이터셋을 통합하여 4,729개의 글쓰기 품질 판단으로 구성된 Writing Quality Benchmark (WQ) 를 소개했습니다. 흥미로운 점은 추론 작업에 뛰어난 최첨단 대규모 언어 모델(LLM)조차도 WQ에서 무작위 기준선보다 거의 나아지지 않았다는 것입니다. 이는 AI가 문법적으로 맞는 글을 쓸 수는 있지만, 실제로 '잘 쓰는 것'과는 거리가 멀다는 점을 시사합니다.

연구진은 이 문제를 해결하기 위해 다양한 크기의 Writing Quality Reward Model (WQRM) 을 훈련했습니다. WQRM은 네 개의 분포 외 테스트 세트에서 강력한 일반화 성능을 보였으며, WQ 벤치마크에서 74%의 정확도를 달성했습니다. 더 나아가, 추론 과정에서 추가적인 연산을 활용하여 여러 개의 수정된 후보 텍스트를 생성하고 순위를 매김으로써 초기 초안보다 질 높은 결과물을 선택할 수 있도록 했습니다.

9명의 경험 많은 작가를 대상으로 한 사람 평가 결과, WQRM 기반 선택은 전반적으로 66%의 선호도를 얻었으며, 보상 차이가 1점 이상일 경우 **72.2%**로 더 높아졌습니다. 연구진은 데이터셋과 모델을 공개하여 글쓰기 품질 평가 및 인간의 선호도에 더 잘 맞는 AI 글쓰기 시스템 개발을 위한 공동 연구를 장려하고 있습니다. 이 연구는 AI 생성 텍스트의 질적 향상에 중요한 전환점이 될 것으로 기대됩니다. 단순히 문법적으로 정확한 글쓰기가 아닌, **'인간의 감성과 창의성을 담은 글쓰기'**로 향하는 한 걸음이라 할 수 있습니다.

앞으로의 과제: WQRM의 객관성과 일반화 능력을 더욱 강화하고, 다양한 글쓰기 유형과 언어에 대한 적용 가능성을 확대하는 연구가 필요할 것입니다.