AI 이미지 업스케일링: 매력도 예측의 새로운 지평

본 연구는 AI 기반 이미지 업스케일링 알고리즘의 성능 평가에 주관적인 요소인 '매력도'를 도입하고, 이를 예측하는 새로운 모델을 제시합니다. Real-ESRGAN과 BSRGAN의 우수한 성능과, 전이 학습 기반 DNN 모델의 높은 정확도가 주요 결과이며, 오픈 사이언스를 통해 데이터와 구현을 공개하여 추가 연구를 장려합니다.

최근 딥러닝 기반 AI 이미지 업스케일링 알고리즘이 급속도로 발전하고 있습니다. CNN, GAN, 또는 혼합 접근 방식을 사용하는 다양한 모델들이 등장했지만, 대부분의 평가는 PSNR과 SSIM 같은 객관적인 지표나 몇몇 예시 이미지에만 의존해왔습니다. 실제 이미지에 대한 폭넓은 평가와 주관적인 평가는 여전히 부족한 실정이었습니다.

스티브 고링(Steve Göring), 라스무스 머튼(Rasmus Merten), 알렉산더 라아케(Alexander Raake) 연구팀은 이러한 한계를 극복하기 위해 새로운 연구를 진행했습니다. 연구팀은 136개의 기본 이미지와 Real-ESRGAN, BSRGAN, waifu2x, KXNet, Lanczos 등 5가지 업스케일링 방법을 사용하여 총 1496개의 주석이 달린 이미지 데이터셋을 구축했습니다. 특히, 이미지의 '매력도'에 초점을 맞춰 오픈소스 도구인 AVRate Voyager를 활용한 크라우드소싱을 통해 주석 작업을 진행했습니다.

흥미롭게도, 연구 결과 Real-ESRGAN과 BSRGAN이 다른 방법들보다 이미지 매력도 측면에서 더 우수한 성능을 보였습니다. 여기서 그치지 않고, 연구팀은 어떤 업스케일링 방법이 사용되었는지 감지하는 DNN 모델을 훈련시켰고, 이 모델은 높은 정확도를 달성했습니다. 하지만 기존의 최첨단 이미지 매력도 및 품질 평가 모델들은 높은 예측 성능을 보이지 못했습니다. 이에 연구팀은 전이 학습을 활용한 모델과 신호 기반 특징과 랜덤 포레스트 모델을 결합한 두 가지 새로운 접근 방식을 제시했습니다. 그 결과, 전이 학습 기반 모델이 가장 우수한 성능을 나타냈습니다.

이 연구는 오픈 사이언스의 정신에 따라 데이터와 구현을 공개하여 후속 연구를 장려하고 있습니다. 이를 통해 AI 이미지 업스케일링 기술의 발전과 더 나아가 이미지 매력도 평가 분야의 새로운 가능성을 제시할 것으로 기대됩니다. 특히, 주관적인 요소인 '매력도'를 정량적으로 평가하려는 시도는 앞으로 AI 관련 연구에 새로운 패러다임을 제시할 수 있을 것입니다. 다만, 크라우드소싱을 통한 주석 작업의 주관성에 대한 고려와 더욱 다양한 이미지 데이터셋 확보를 통한 일반화 가능성 확보 등은 향후 연구 과제로 남아있습니다.