몸에 착용하는 카메라 시대의 개막: EgoSim과 MultiEgoView 데이터셋

본 기사는 튀빙겐 대학교 연구팀이 개발한 몸에 착용하는 카메라 시뮬레이터 EgoSim과 실제 데이터셋 MultiEgoView에 대해 다룹니다. 실제 모션 캡처 데이터를 기반으로 한 현실적인 시뮬레이션과 방대한 양의 고품질 데이터는 컴퓨터 비전 분야, 특히 인체 동작 추적, 자세 추정, 동작 인식 기술 발전에 크게 기여할 것으로 기대됩니다.

최근 컴퓨터 비전 분야에서 인체에 부착된 카메라를 활용한 연구가 활발하게 진행되고 있습니다. 기존에는 주로 머리에 착용하는 카메라(헤드마운트 카메라)에 초점이 맞춰져 있었지만, 소형화된 광학 센서의 발전으로 인해 앞으로는 몸의 다양한 부위에 카메라를 장착하는 것이 훨씬 더 보편화될 전망입니다.

독일 튀빙겐 대학교를 중심으로 한 연구팀은 이러한 흐름에 발맞춰, 다양한 신체 부위에 착용 가능한 카메라를 시뮬레이션하는 획기적인 시스템 EgoSim과 실제 데이터셋 MultiEgoView를 개발했습니다. Dominik Hollidt 등 연구진의 논문에 따르면, EgoSim은 실제 모션 캡처 데이터를 사용하여 팔이나 다리에 부착된 카메라에서 발생하는 움직임의 흔들림이나 왜곡까지도 사실적으로 구현합니다. 이는 기존 시뮬레이터에서는 구현하기 어려웠던 부분입니다.

더욱 놀라운 점은 MultiEgoView 데이터셋입니다. 6개의 신체 부착형 카메라에서 촬영한 영상과 정확한 3D 전신 자세 정보를 포함하며, 무려 119시간의 시뮬레이션 데이터와 13명의 참가자를 대상으로 5시간 동안 수집된 실제 세계 데이터까지 담고 있습니다. 고품질 가상 환경에서 생성된 AMASS 모션 시퀀스와 GoPro 카메라 및 Xsens 모션 캡처 슈트를 사용하여 수집된 실제 데이터가 결합되어 있습니다. 이는 컴퓨터 비전 분야, 특히 인체 동작 추적, 자세 추정 및 동작 인식 연구에 엄청난 도약을 가져올 수 있는 양질의 데이터입니다.

연구팀은 EgoSim의 효과를 검증하기 위해 비디오 기반 3D 자세 추정 네트워크를 학습시켰고, 실제 데이터에 대한 추론 성능 향상에 EgoSim과 MultiEgoView 데이터셋이 크게 기여한다는 것을 확인했습니다. 이는 가상 환경에서 학습된 모델이 실제 환경에서도 효과적으로 작동할 수 있음을 시사합니다.

EgoSim 코드와 MultiEgoView 데이터셋은 https://siplab.org/projects/EgoSim 에서 확인할 수 있습니다. 이 연구는 단순히 새로운 기술을 제시하는 것을 넘어, 컴퓨터 비전 연구의 패러다임을 바꿀 가능성을 보여줍니다. 앞으로 웨어러블 기술과 컴퓨터 비전의 발전에 큰 영향을 미칠 것으로 예상됩니다.