3D 인체 자세 추정의 획기적 발전: 캐논화 도메인 접근법

이호상, 류제하 연구팀은 3D 인체 자세 추정(HPE)의 일반화 문제를 해결하기 위해 캐논화 도메인 접근법을 제시했습니다. 소스 및 타겟 도메인을 통합된 캐논화 도메인으로 매핑하여 추가적인 미세 조정 없이도 다양한 데이터셋에 적용 가능하며, 실험 결과 데이터셋 간 일반화 성능을 획기적으로 향상시키는 것을 확인했습니다.

최근 딥러닝 기술의 발전으로 3D 인체 자세 추정(HPE) 분야는 눈부신 성장을 이루었습니다. 하지만, 소스 도메인과 타겟 도메인 간의 차이로 인한 성능 저하는 여전히 일반화에 큰 걸림돌이었습니다. 이를 해결하기 위해서는 각 타겟 도메인에 맞춰 방대한 데이터 증강이나 미세 조정이 필요했죠. 이 문제를 효율적으로 해결하기 위해 이호상, 류제하 연구팀은 **획기적인 '캐논화 도메인 접근법'**을 제시했습니다.

이 접근법은 소스 도메인과 타겟 도메인을 통합된 캐논화 도메인으로 매핑하여, 추가적인 미세 조정 없이도 다양한 데이터셋에 적용 가능하도록 합니다. 핵심은 **'캐논화 과정'**입니다. 이 과정은 2D-3D 자세 일관성을 유지하면서 2D-3D 자세 패턴을 단순화하는 새로운 캐논화 2D-3D 자세 매핑을 생성합니다. 이를 통해, 리프팅 네트워크의 학습 효율성을 극대화할 수 있죠.

캐논화 과정은 다음과 같은 단계로 이루어집니다.

1. 소스 도메인: 리프팅 네트워크는 캐논화 도메인 내에서 학습됩니다.
2. 타겟 도메인: 입력 2D 자세는 투영 변환 및 카메라 내부 매개변수를 활용하여 캐논화됩니다. 이후 학습된 네트워크를 추가적인 미세 조정 없이 바로 적용할 수 있습니다.

Human3.6M, Fit3D, MPI-INF-3DHP 등 다양한 데이터셋과 리프팅 네트워크를 사용한 실험 결과, 이 방법은 동일한 데이터 양으로도 데이터셋 간 일반화 성능을 획기적으로 향상시키는 것을 보여주었습니다. 이는 3D HPE 분야의 효율성과 일반화 성능을 크게 개선하는 중요한 발걸음입니다. 향후 다양한 응용 분야에서 활용될 가능성을 시사하며, 더욱 발전된 기술 개발에 대한 기대감을 높이고 있습니다.