꿈꾸는 AI 작가들: 개방형 문제 해결의 새로운 지평, 글쓰기

본 연구는 대규모 언어 모델(LLM)의 개방형 문제 해결 능력 평가를 위해 글쓰기를 활용하는 새로운 방법론을 제시하고, Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o 세 가지 LLM의 공동 저술 능력을 분석하여 AI의 창작 능력 향상 및 인간과의 협업 가능성을 제시합니다.

인공지능(AI)의 발전은 눈부시지만, 여전히 넘어야 할 산이 있습니다. 바로 '개방형 문제'입니다. 정답이 하나로 정해져 있지 않고, 해결책이 무궁무진한 문제들 말이죠. 대규모 언어 모델(LLM)에게 이러한 문제는 특히 어렵습니다. 광활한 해결책 공간을 탐색하고, 성공 기준조차 명확하지 않은 상황에서 유연하게 대처해야 하기 때문입니다.

그런데, 이 어려운 문제에 대한 해답을 제시하는 흥미로운 연구가 등장했습니다. 바로 글쓰기를 활용하는 것입니다! Sian Gooding, Lucia Lopez-Rivilla, Edward Grefenstette 등의 연구진은 논문 "Writing as a testbed for open ended agents"에서 글쓰기를 LLM의 개방형 문제 해결 능력을 평가하는 새로운 척도로 제시했습니다. 글쓰기는 해결책의 공간이 무한하고, 평가 기준이 주관적이라는 점에서 개방형 문제의 특징을 잘 반영하기 때문입니다.

연구진은 Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o 세 가지 주요 LLM을 대상으로 실험을 진행했습니다. 이들은 LLM이 얼마나 효과적으로 협업적인 공동 저술가 역할을 수행할 수 있는지, 즉 글을 수정하고 개선하는 제안을 자율적으로 수행할 수 있는지를 분석했습니다. 핵심은 LLM의 행동 다양성, 인간과의 조화 (인간 정렬) , 그리고 반복적인 개선 능력이 글쓰기 성능에 어떤 영향을 미치는지 밝히는 것이었습니다.

결과적으로 이 연구는 자율적인 글쓰기 에이전트를 평가하는 새로운 기준을 제시했을 뿐만 아니라, 다양한 개방형 문제 영역에서 탁월한 성능을 발휘하는 시스템을 구축하기 위한 근본적인 과제와 해결책을 제시하는 중요한 이정표를 세웠습니다. AI가 단순히 지시를 따르는 도구를 넘어, 인간과 협력하고 창의적인 결과물을 만들어내는 진정한 파트너로 발전할 수 있는 가능성을 보여주는 연구라고 할 수 있습니다. 앞으로 AI 작가들의 활약이 더욱 기대되는 대목입니다.

미래 전망: 이 연구는 AI가 다양한 창작 영역에서 인간과 협업하는 미래를 예측하게 합니다. AI는 단순한 도구가 아닌, 아이디어를 제시하고, 수정을 제안하며, 함께 창작물을 완성하는 동반자로서 자리매김할 것입니다. 이는 단순히 글쓰기에 국한되지 않고, 음악 작곡, 디자인, 프로그래밍 등 다양한 분야로 확장될 가능성을 시사합니다. 하지만, AI의 행동 다양성과 인간과의 조화로운 협업을 위한 지속적인 연구가 필요한 부분입니다.