HAR-DoReMi: 이종 IMU 데이터셋을 위한 자기 지도 학습 기반 인체 활동 인식의 혁신

HAR-DoReMi는 IMU 센서 데이터의 이질성 문제를 해결하기 위해 DoReMi 전략을 개선하여 적용한 자기 지도 학습 기반 인체 활동 인식 프레임워크입니다. MSE 손실 기반 마스크 재구성 및 Mahony 융합 알고리즘을 통해 기존 최첨단 방법보다 6.51% 향상된 정확도와 30~50% 감소된 데이터 사용량을 달성했습니다.

인체 활동 인식(HAR) 분야는 웨어러블 기기의 발전과 함께 급속도로 발전하고 있지만, 다양한 환경에서 수집된 데이터셋 간의 이질성으로 인해 모델의 일반화 성능이 저하되는 어려움을 겪고 있습니다. Lulu Ban 등 10명의 연구진이 발표한 논문, "HAR-DoReMi: Optimizing Data Mixture for Self-Supervised Human Activity Recognition Across Heterogeneous IMU Datasets"는 이러한 문제에 대한 획기적인 해결책을 제시합니다.

DoReMi 전략의 HAR 분야 적용: 새로운 도전과 혁신

연구진은 대규모 언어 모델(LLM)에서 성공적으로 활용된 DoReMi 데이터 혼합 전략에 착안하여, 자기 지도 학습 기반 HAR 모델의 사전 학습 전략을 개선했습니다. 하지만, IMU 센서 데이터의 연속적이고 다채널적인 특성, 그리고 데이터셋 간의 고유한 이질성은 DoReMi 전략을 단순히 적용하기에는 어려움을 제시했습니다.

HAR-DoReMi: IMU 데이터의 특성을 고려한 최적화

연구진은 이러한 문제를 해결하기 위해 HAR-DoReMi 라는 새로운 프레임워크를 제안합니다. HAR-DoReMi는 기존 DoReMi의 음수 로그 우도(NLL) 손실 기반의 이산적 언어 시퀀스 예측 작업 대신, 평균 제곱 오차(MSE) 손실 기반의 마스크 재구성 작업을 도입했습니다. 이를 통해 IMU 데이터의 연속적이고 다채널적인 특성에 최적화된 학습을 가능하게 했습니다.

또한, Mahony 융합 알고리즘을 통합하여 각 데이터셋 내 센서의 방향을 추정하고, 통일된 좌표계로 정렬함으로써 데이터셋 간 이질성을 완화했습니다. 이는 모델의 일반화 성능 향상에 크게 기여했습니다.

놀라운 성능 향상: 데이터 효율성과 정확도의 동시 달성

다양한 교차 데이터셋 HAR 전이 작업에 대한 실험 결과, HAR-DoReMi는 기존 최첨단 방법에 비해 평균 **6.51%**의 정확도 향상을 보였습니다. 특히, 데이터 사용량은 약 30~50% 수준으로 줄이면서도 이러한 성능 향상을 달성했다는 점은 주목할 만합니다.

결론: HAR 기술의 실용화를 위한 중요한 발걸음

HAR-DoReMi는 자기 지도 학습 기반 HAR 모델의 일반화 성능과 데이터 효율성을 동시에 향상시킴으로써, HAR 기술의 실용화에 중요한 기여를 할 것으로 기대됩니다. 이 연구는 단순히 알고리즘 개선을 넘어, 실제 응용 환경에서의 HAR 기술의 적용 가능성을 크게 높였다는 점에서 큰 의미를 가집니다. 앞으로 HAR-DoReMi를 기반으로 더욱 다양하고 강력한 인체 활동 인식 기술이 개발될 것으로 예상됩니다.