획기적인 발견! AI가 유머를 이해하다: 소규모 인간 정렬이 LLM의 전문가 수준 유머 평가를 가능하게 하다

본 연구는 LLM의 창의력 이해 한계를 극복하기 위해 소규모 인간 정렬 기법을 활용하여 유머 평가 정확도를 82.4%까지 향상시켰으며, 이는 인간 전문가 수준의 성과입니다. 다양한 인간 선호도 데이터 기반의 LLM 훈련의 중요성을 강조하며 AGI 개발에 대한 새로운 시각을 제시합니다.

최근, Kuan Lok Zhou를 비롯한 연구진 9명이 발표한 논문 "Bridging the Creativity Understanding Gap: Small-Scale Human Alignment Enables Expert-Level Humor Ranking in LLMs"은 AI 연구에 새로운 지평을 열었습니다. 이 연구는 대규모 언어 모델(LLM)이 뉴요커 만화 캡션 콘테스트(NYCCC)와 같은 창의적인 콘텐츠를 이해하는 데 있어 심각한 한계를 가지고 있다는 점을 지적하며 시작합니다. Hessel et al. (2023)의 연구에서 이미 제기된 LLM과 인간의 유머 이해력 차이는 이번 연구에서 더욱 심도있게 다뤄집니다.

연구진은 유머 이해를 시각적 이해, 유머 추론 및 설명, 인간 선호도 정렬의 세 가지 구성 요소로 분해하여 접근했습니다. 개선된 어노테이션을 통한 시각적 이해 향상, LLM이 생성한 유머 추론 및 설명 활용, 그리고 인간 선호도 데이터를 활용한 표적 정렬을 통해, 놀랍게도 82.4%의 캡션 순위 정확도를 달성했습니다. 이는 기존 67%의 기준을 크게 상회하며, 세계적으로 유명한 전문가 수준의 성과에 도달한 것입니다.

흥미로운 점은 다양한 페르소나 프롬프트를 통한 하위 그룹 선호도 모방 시도는 미미한 영향을 보인 반면, 크라우드 선호도를 이용한 모델 미세 조정은 괄목할 만한 효과를 거뒀다는 사실입니다. 이는 창의적인 판단에 있어 LLM의 한계를 특정 하위 그룹 및 개인에 대한 집중적인 정렬을 통해 효과적으로 해결할 수 있음을 시사합니다.

연구진은 나아가 인공 일반 지능(AGI) 달성을 위해서는 창의적인 영역에 걸쳐 인간 선호도 데이터를 체계적으로 수집해야 한다고 주장합니다. 인간의 창의성이 개인적, 문화적 선호도에 깊이 영향을 받는 것처럼, 다양한 인간 선호도 데이터로 LLM을 훈련하는 것이 진정한 창의적 이해를 개발하는 데 필수적일 수 있다는 것입니다. 이 연구는 AI의 창의력 이해에 대한 새로운 패러다임을 제시하며, 향후 AI 발전 방향에 중요한 시사점을 제공합니다. 단순한 기술적 진보를 넘어, 인간의 창의성과 AI의 조화에 대한 깊은 성찰을 촉구하는 연구라고 할 수 있습니다.