VidFormer: 3DCNN과 Transformer 융합으로 비디오 기반 원격 생리 신호 측정의 새 지평을 열다
중국과학원 자동화연구소 연구팀이 개발한 VidFormer는 3DCNN과 Transformer를 결합한 새로운 원격 광용적맥파측정(rPPG) 프레임워크로, 기존 기술의 한계를 극복하고 5개의 공개 데이터셋에서 최첨단 성능을 달성했습니다. 인종, 화장, 운동 등 다양한 요인에 대한 분석을 통해 실제 응용 가능성을 높였습니다.

얼굴 영상으로 생체 신호를 측정하는 혁신적인 기술, VidFormer
최근 얼굴 영상을 통해 원격으로 생리 신호를 측정하는 기술, 즉 원격 광용적맥파측정(rPPG)이 주목받고 있습니다. 이 기술은 심장 박동이나 혈압 변화를 비접촉식으로 측정할 수 있어 의료 및 건강 관리 분야에서 혁신적인 가능성을 제시합니다. 하지만 기존의 딥러닝 기반 방법들은 CNN(Convolutional Neural Network)과 Transformer의 한계로 인해 데이터셋 규모에 따라 성능 편차가 큰 문제를 안고 있었습니다.
중국과학원 자동화연구소 연구팀은 이러한 문제를 해결하기 위해 3차원 합성곱 신경망(3DCNN)과 Transformer 모델을 결합한 획기적인 end-to-end 프레임워크, VidFormer를 개발했습니다. 이들은 먼저 기존의 피부 반사 모델을 분석하고, 이를 개선한 새로운 rPPG 신호 재구축 모델을 제시했습니다. 이를 기반으로 VidFormer는 3DCNN을 통해 국소적 특징을, Transformer를 통해 전역적 특징을 추출합니다. 더 나아가, 시간-공간적 어텐션 메커니즘을 3DCNN과 Transformer 모두에 적용하여 시공간적 특징 추출 능력을 향상시켰으며, 3DCNN과 Transformer 간의 정보 교환 및 융합을 위한 모듈도 설계했습니다.
5개의 공개 데이터셋을 이용한 실험 결과, VidFormer는 기존 최첨단(SOTA) 방법들을 능가하는 성능을 보였습니다. 연구팀은 여기서 그치지 않고, VidFormer의 각 모듈의 역할을 자세히 분석하고, 인종, 화장, 운동 등 다양한 요인이 성능에 미치는 영향까지 심도 있게 연구했습니다. 이는 VidFormer의 실제 적용 가능성을 높이는 중요한 결과입니다.
VidFormer는 단순한 기술적 발전을 넘어 원격 의료 및 건강 관리 분야의 패러다임을 바꿀 잠재력을 지닌 기술입니다. 비접촉, 비침습적인 방식으로 생체 신호를 정확하게 측정할 수 있다는 점은 앞으로 다양한 응용 분야에서 혁신적인 변화를 가져올 것으로 예상됩니다. 특히, 개인 맞춤형 건강 관리 서비스 제공 및 의료 접근성 개선에 크게 기여할 것으로 기대됩니다.
핵심 내용 요약:
- Jiachen Li 외 5명의 연구팀이 개발한 VidFormer는 3DCNN과 Transformer를 융합한 새로운 rPPG 프레임워크입니다.
- 기존 피부 반사 모델을 개선하여 rPPG 신호 재구축 정확도를 높였습니다.
- 5개의 공개 데이터셋에서 기존 SOTA 모델들을 뛰어넘는 성능을 입증했습니다.
- 인종, 화장, 운동 등 다양한 요인이 성능에 미치는 영향을 분석했습니다.
Reference
[arxiv] VidFormer: A novel end-to-end framework fused by 3DCNN and Transformer for Video-based Remote Physiological Measurement
Published: (Updated: )
Author: Jiachen Li, Shisheng Guo, Longzhen Tang, Cuolong Cui, Lingjiang Kong, Xiaobo Yang
http://arxiv.org/abs/2501.01691v2