SCIZOR: 자가 지도 학습 기반 대규모 모방 학습 데이터 큐레이션의 혁신

텍사스 오스틴 대학교 연구팀이 개발한 SCIZOR은 자가 지도 학습을 통해 저품질 데이터를 효과적으로 제거하여 모방 학습의 성능을 향상시키는 혁신적인 데이터 큐레이션 프레임워크입니다. 최적이 아닌 데이터와 중복 데이터를 동시에 처리하여 데이터 효율성과 학습 성능을 개선하며, 다양한 벤치마크에서 평균 15.4%의 성능 향상을 기록했습니다.

SCIZOR: 로봇 학습의 새로운 지평을 열다

인간의 시범을 통해 로봇의 다양한 행동을 학습시키는 모방 학습은 로봇 기술 발전에 중요한 역할을 합니다. 하지만, 대규모 데이터셋을 사용한 정책 훈련에는 품질 저하 문제가 늘 존재해 왔습니다. 데이터 품질의 불균일성은 로봇의 성능을 저해하는 주요 요인이죠. 따라서 저품질 샘플을 걸러내고 데이터 품질을 향상시키는 자동화된 데이터 큐레이션 기술이 절실했습니다.

기존의 로봇 데이터 큐레이션 방식은 비용이 많이 드는 수동 주석에 의존했고, 데이터셋이나 궤적 수준과 같은 조잡한 수준에서 큐레이션을 수행했습니다. 개별 상태-행동 쌍의 품질까지 고려하지 못했던 것이죠.

텍사스 오스틴 대학교 연구팀은 이러한 문제를 해결하기 위해 SCIZOR라는 자가 지도 학습 기반 데이터 큐레이션 프레임워크를 개발했습니다. SCIZOR은 저품질 상태-행동 쌍을 제거하여 모방 학습 정책의 성능을 향상시키는 것을 목표로 합니다.

SCIZOR은 저품질 데이터의 두 가지 주요 원인인 최적이 아닌 데이터(suboptimal data) 와 중복 데이터(redundant data) 에 집중합니다. 최적이 아닌 데이터는 원치 않는 행동으로 인해 학습을 방해하고, 중복 데이터는 반복적인 패턴으로 학습을 희석시킵니다.

Yu Zhang 등이 주도한 연구에 따르면, SCIZOR은 자가 지도 학습 기반의 작업 진행 예측기를 사용하여 작업 진행이 부족한 샘플을 제거하고, 상태-행동 표현의 중복 패턴을 제거하는 중복 제거 모듈을 사용합니다. 다양한 벤치마크에서 평균 15.4%의 성능 향상을 달성했다고 합니다. 이는 SCIZOR이 데이터 효율성과 학습 성능을 동시에 개선하는 혁신적인 기술임을 보여줍니다. 자세한 정보는 https://ut-austin-rpl.github.io/SCIZOR/에서 확인할 수 있습니다.

SCIZOR의 등장은 로봇 학습 분야에 새로운 가능성을 제시합니다. 더 적은 데이터로 더 나은 성능을 얻을 수 있다면, 로봇 개발의 시간과 비용을 크게 절감하고, 더욱 다양하고 복잡한 작업을 수행하는 로봇 개발을 앞당길 수 있을 것입니다. 앞으로 SCIZOR이 로봇 공학의 발전에 어떤 영향을 미칠지 주목해 볼 필요가 있습니다.