FRAbench와 GenEval: 다양한 과제와 모달리티를 아우르는 세부적인 측면 평가 확장

본 기사는 홍시보 박사 연구팀이 개발한 FRAbench와 GenEval에 대해 소개합니다. FRAbench는 다양한 과제와 모달리티에 걸쳐 LLM을 평가하기 위한 대규모 다중 모달 벤치마크이며, GenEval은 FRAbench를 기반으로 개발된 세부적인 평가 도구입니다. 두 기술은 LLM 평가의 정확성과 객관성을 높이는 데 크게 기여할 것으로 기대됩니다.

급성장하는 LLM 평가의 난관과 혁신적인 해결책

대규모 언어 모델(LLM)의 능력이 급속도로 발전하면서, 그 출력물을 평가하는 작업은 점점 더 어려워지고 있습니다. 모델의 기능, 과제의 다양성, 모달리티의 범위가 기하급수적으로 확장되면서 기존의 평가 방법들은 한계에 직면했습니다. 특히, 'LLM-as-a-Judge' 방식은 특정 과제, 측면 또는 모달리티에 국한되고 일관성이 떨어지는 경향이 있었습니다.

세부적인 측면 명세: 객관적이고 일반화 가능한 평가의 열쇠

홍시보(Shibo Hong) 박사를 비롯한 연구팀은 이러한 문제를 해결하기 위해 세부적인 측면 명세가 자동화된 평가의 일반화 가능성과 객관성을 높이는 핵심 요소라고 주장합니다. 이를 위해, 연구팀은 자연어 생성, 이미지 이해, 이미지 생성, 텍스트-이미지 결합 생성 등 네 가지 대표적인 설정을 통합하는 112가지 측면을 포함하는 계층적 측면 분류 체계를 개발했습니다.

FRAbench: 대규모 다중 모달 평가 벤치마크

연구팀은 이 분류 체계를 기반으로, FRAbench라는 새로운 벤치마크를 개발했습니다. FRAbench는 인간과 LLM 주석을 결합하여 얻은 60,400개의 쌍 비교 샘플과 325,000개의 측면 수준 레이블을 포함하는 대규모 다중 모달 자원입니다. 이는 세부적인 LLM 평가자를 학습하고 메타 평가하기 위한 최초의 대규모 다중 모달 자원이라는 점에서 큰 의의를 갖습니다.

GenEval: 과제와 모달리티를 넘나드는 정교한 평가 도구

FRAbench를 활용하여 연구팀은 GenEval이라는 세부적인 평가 도구를 개발했습니다. GenEval은 과제와 모달리티를 넘나들며 일반화할 수 있는 능력을 갖추고 있습니다. 실험 결과, GenEval은 GPT-4 및 전문가 평가자와 높은 일치율을 보였으며, 새로운 과제와 모달리티에도 강력하게 적용 가능한 것으로 나타났습니다. 더 나아가, GenEval은 현재 LLM의 체계적인 약점을 드러내는 데에도 성공했습니다.

결론: LLM 평가의 새로운 지평

FRAbench와 GenEval은 LLM 평가 분야에 새로운 지평을 열었습니다. 세부적인 측면 평가라는 혁신적인 접근 방식을 통해 LLM의 성능을 더욱 정확하고 객관적으로 평가할 수 있는 길을 제시했습니다. 이는 향후 LLM의 발전과 신뢰도 향상에 크게 기여할 것으로 기대됩니다.