혁신적인 수화 번역 기술: 이벤트 카메라 활용의 새로운 가능성

중국과학원 자동화연구소 연구팀이 이벤트 카메라를 활용한 혁신적인 수화 번역 기술을 개발했습니다. 대규모 데이터셋 VECSL과 새로운 알고리즘 M²-SLT를 통해 기존 기술의 한계를 극복하고, 더욱 정확하고 실용적인 수화 번역 시스템 구축에 기여할 것으로 기대됩니다.

빛과 그림자를 넘어: 이벤트 카메라 기반 수화 번역 기술의 탄생

청각 장애인의 원활한 의사소통을 위한 수화 번역 기술은 꾸준히 발전해 왔지만, 기존의 RGB 카메라 기반 기술은 조명 변화, 빠른 손짓, 움직임 흐림 등 여러 제약에 직면해 왔습니다. 중국과학원 자동화연구소(Institute of Automation, Chinese Academy of Sciences) 연구팀은 이러한 한계를 극복하기 위해 이벤트 카메라를 활용한 혁신적인 수화 번역 기술을 개발, 그 결과를 최근 발표했습니다.

Xiao Wang을 비롯한 8명의 연구진은 VECSL 이라는 대규모 RGB-이벤트 수화 번역 데이터셋을 공개했습니다. 15,676개의 RGB-이벤트 샘플과 15,191개의 어휘, 2,568개의 중국어 문자를 포함하는 이 데이터셋은 다양한 실내외 환경, 시야각, 조명, 카메라 움직임을 고려하여 수집되었다는 점에서 주목할 만합니다. 이는 기존 데이터셋의 한계를 뛰어넘어, 더욱 현실적인 수화 인식 연구를 가능하게 합니다.

단순히 데이터셋만 공개된 것이 아닙니다. 연구팀은 이벤트 스트림을 활용하여 RGB 카메라의 한계를 보완, 더욱 정확한 수화 인식을 구현하는 M²-SLT 라는 새로운 프레임워크도 제시했습니다. 이는 미세한 손짓(마이크로 사인)과 거시적인 손짓(매크로 사인)을 정교하게 분석하는 기술을 바탕으로 기존 최첨단 기술을 능가하는 성능을 달성했다고 합니다.

연구팀은 이번 연구를 통해 이벤트 카메라 기반 수화 번역 기술의 가능성을 엿볼 수 있게 했습니다. 기존 RGB 프레임 방식의 한계를 극복하고, 다양한 환경에서도 높은 정확도를 유지하는 수화 번역 시스템 개발에 한걸음 더 다가간 것입니다. 이번에 공개된 VECSL 데이터셋과 M²-SLT 알고리즘의 소스 코드는 https://github.com/Event-AHU/OpenESL 에서 확인할 수 있습니다. 앞으로 이를 기반으로 더욱 발전된 수화 번역 기술이 개발될 것으로 기대됩니다.

핵심: 이벤트 카메라 활용, 대규모 데이터셋 VECSL 공개, 새로운 알고리즘 M²-SLT 제안, 수화 번역 기술의 정확도 향상