8K@30FPS 초고해상도 가속기 ESSR: 에지 기기의 한계를 뛰어넘다!

대만 국립 교통대학교 연구팀이 개발한 ESSR은 에지 기기에서 8K@30FPS 초고해상도 비디오 처리를 가능하게 하는 혁신적인 가속기입니다. 동적 입력 처리, 자원 적응형 모델 전환, 하드웨어 최적화 기술을 통해 연산량 감소 및 에너지 효율 향상을 달성했습니다. 에지 AI, 자율주행 등 다양한 분야에 혁신을 가져올 것으로 기대됩니다.

최근 딥러닝 기반 초고해상도(SR) 기술은 비약적인 발전을 이루었지만, 높은 연산량과 메모리 대역폭 요구사항으로 인해 풀HD 이상의 고해상도 영상 처리를 에지 기기에서 구현하는 데 어려움을 겪고 있습니다. 대만 국립 교통대학교의 Chih-Chia Hsu와 Tian-Sheuan Chang 연구팀은 이러한 문제를 해결하기 위해 ESSR(Edge Selective Super-Resolution) 이라는 혁신적인 8K@30FPS SR 가속기를 개발했습니다.

ESSR의 핵심은 '에지 선택적 동적 입력 처리' 입니다. 단순한 입력 에지 기준에 따라 서로 다른 패치에 적합한 서브넷을 선택적으로 사용함으로써, MAC 연산량을 50%나 줄이면서도 PSNR(Peak Signal-to-Noise Ratio) 저하를 0.1dB 수준으로 최소화했습니다. 이는 마치 상황에 맞춰 자동차의 엔진 출력을 조절하는 것과 같다고 볼 수 있습니다. 필요한 연산만 수행하여 효율을 극대화하는 것이죠. 뿐만 아니라, '자원 적응형 모델 전환' 기술을 통해 자원 제약 하에서도 최상의 이미지 복원 품질을 보장합니다.

더 나아가, 하드웨어 최적화를 통해 모델 크기를 기존 대비 84%나 줄여 51KB로 만들었습니다. 이러한 크기 감소에도 불구하고 PSNR 저하는 0.6dB 미만으로 매우 적습니다. 또한, '구성 가능한 레이어 매핑 그룹' 과 '구조 친화적인 융합 블록' 의 시너지 효과를 통해 하드웨어 활용률을 77%까지 높였으며, 피처 SRAM 접근 횟수를 79%까지 감소시켰습니다.

TSMC 28nm 공정을 기반으로 구현된 ESSR은 800MHz 동작 속도에서 8K@30FPS 처리량을 달성하며, 게이트 수는 2749K, 전력 소모는 0.2075W, 에너지 효율은 4797Mpixels/J에 달합니다. 이는 기존 연구 결과를 훨씬 뛰어넘는 성능입니다. ESSR은 단순한 성능 향상을 넘어, 에지 기기에서 고품질 초고해상도 영상 처리의 가능성을 열어주는 획기적인 기술입니다. 앞으로 에지 AI, 자율주행, 스마트 시티 등 다양한 분야에서 폭넓게 활용될 것으로 기대됩니다. 다만, 향후 연구에서는 더욱 다양한 에지 기기 환경에 대한 적용성 검증과 더욱 향상된 에너지 효율 및 성능 개선이 필요할 것입니다.