TruePose: 인체 파싱으로 옷까지 완벽하게 보존하는 포즈 변환 기술

TruePose는 인체 파싱 기반 어텐션 확산 기술을 활용하여 기존 포즈 변환 기술의 한계를 극복, 얼굴과 옷의 디테일을 모두 유지하면서 고품질의 이미지를 생성하는 혁신적인 기술입니다. 13개의 기존 기술과 비교 실험을 통해 그 우수성을 입증하였으며, 패션 산업을 넘어 다양한 분야에 활용될 가능성을 제시합니다.

옷의 디테일까지 살리는 AI 포즈 변환 기술, TruePose 등장!

최근 패션 업계에서 인공지능(AI) 기반 포즈 변환 기술의 활용이 급증하고 있습니다. 하지만 기존 기술들은 얼굴은 잘 유지해도 옷의 디테일은 놓치는 경우가 많았죠. 마치 옷을 입은 채로 포즈만 바꾸는 듯한 자연스러운 이미지 생성은 여전히 어려운 과제였습니다.

Xu Zhihong 등 연구진이 개발한 TruePose는 이러한 문제를 해결하기 위해 등장했습니다. TruePose는 인체 파싱(human parsing) 기술을 활용하여 옷의 패턴까지 정확하게 인식하고, 이를 기반으로 포즈 변환 과정에서 옷의 디테일을 보존하는 혁신적인 기술입니다.

TruePose의 핵심: 인체 파싱 기반 어텐션 확산

기존의 확산 기반 PGPIS 방식은 옷의 패턴을 제대로 포착하지 못해, 소스 이미지와 타겟 포즈의 차이가 클 경우 옷의 디테일이 크게 훼손되는 문제가 있었습니다. TruePose는 이를 해결하기 위해 인체 파싱 기반 어텐션 확산(human-parsing-guided attention diffusion) 이라는 새로운 접근 방식을 제안합니다.

핵심 구성 요소:

• 이중 동일 UNet 네트워크: 하나는 확산 잡음 제거를, 다른 하나는 소스 이미지의 특징 추출을 담당합니다.
• 인체 파싱 기반 융합 어텐션(HPFA): 얼굴과 옷의 패턴을 효과적으로 인식하고 타겟 이미지 생성에 적용합니다.
• CLIP 기반 어텐션 정렬(CAA): 얼굴과 옷의 패턴을 타겟 이미지에 정확하게 매핑합니다.

이 세 가지 요소의 조화를 통해 TruePose는 얼굴과 옷의 모양을 모두 정확하게 유지하면서 고품질의 이미지를 생성합니다. 이는 특히 저작권 보호가 중요한 패션 업계에 획기적인 기술적 발전이라고 할 수 있습니다.

검증된 성능: 13개 기존 기술과의 비교 우위

연구진은 TruePose의 성능을 검증하기 위해 상점 내 의류 검색 벤치마크와 최신 야외 촬영 인물 편집 데이터셋에서 13개의 기존 방법과 비교 실험을 진행했습니다. 그 결과, TruePose는 얼굴과 옷의 외관을 모두 효과적으로 보존하면서 뛰어난 성능을 보였습니다. 이는 TruePose의 우수성을 객관적으로 입증하는 결과입니다.

미래 전망: 패션 산업을 넘어

TruePose는 패션 산업에서의 응용뿐 아니라, 다양한 분야에서 인물 이미지 편집 및 생성 기술의 발전에 크게 기여할 것으로 기대됩니다. 더욱 정교하고 자연스러운 이미지 합성 기술의 발전은 앞으로 더욱 다양한 분야에서 활용될 가능성을 제시합니다.