FedRTS: 조합적 톰슨 샘플링을 통한 강건한 연합 학습 프루닝

홍황, 해양, 원천, 예가훈, 무다펑 연구팀이 개발한 FedRTS는 조합적 톰슨 샘플링을 활용하여 연합 학습의 효율성과 강건성을 높인 혁신적인 프레임워크입니다. 컴퓨터 비전 및 자연어 처리 분야에서 뛰어난 성능을 보이며, 특히 데이터 이질성 및 부분 클라이언트 참여 환경에서 효과적임을 입증했습니다.

연합 학습의 새로운 지평을 열다: FedRTS

데이터를 공유하지 않고도 분산된 클라이언트에서 협업적인 모델 학습을 가능하게 하는 연합 학습(Federated Learning, FL)은 최근 많은 주목을 받고 있습니다. 하지만, 높은 계산 및 통신 비용은 자원이 제한된 기기들에게는 큰 부담입니다. 기존의 동적 프루닝 기법들은 모델의 효율성을 높이기 위해 스파스 모델 토폴로지를 주기적으로 조정하지만, 탐욕적인 조정, 불안정한 토폴로지, 비효율적인 통신 등의 문제로 인해 강건하지 못하고, 데이터 이질성 및 부분적인 클라이언트 가용성 하에서 최적의 성능을 발휘하지 못하는 한계를 가지고 있었습니다.

홍황, 해양, 원천, 예가훈, 무다펑 연구팀은 이러한 문제를 해결하기 위해 FedRTS(Federated Robust Pruning via Combinatorial Thompson Sampling) 라는 혁신적인 프레임워크를 제안했습니다. FedRTS는 조합적 톰슨 샘플링 기반 조정(Thompson Sampling-based Adjustment, TSAdj) 메커니즘을 통해 강건성과 성능을 향상시킵니다. 기존 방법들이 불안정하고 단기적인 정보에 의존하는 결정적 의사결정을 하는 것과 달리, FedRTS는 안정적이고 장기적인 정보에 기반한 확률적 의사결정을 통해 더욱 안정적이고 효율적인 스파스 모델을 구축합니다.

주요 성과:

• 컴퓨터 비전 및 자연어 처리 작업에서 최첨단 성능 달성
• 통신 비용 감소
• 데이터 분포가 이질적이고 클라이언트 참여가 부분적인 상황에서 탁월한 성능

연구팀은 다양한 실험을 통해 FedRTS의 우수성을 입증하였으며, 코드는 GitHub에서 공개적으로 확인할 수 있습니다. 이 연구는 연합 학습의 실용성을 한층 높이는 중요한 발걸음이 될 것으로 기대됩니다. 앞으로 FedRTS가 다양한 분야에서 활용되어 더욱 효율적이고 강건한 인공지능 모델 개발에 기여할 것으로 예상됩니다. 하지만, 실제 환경 적용에 앞서 더욱 광범위한 데이터셋과 다양한 시나리오에 대한 추가적인 검증이 필요할 것입니다. 특히, 개별 클라이언트의 데이터량 및 특성 차이가 심한 경우 성능 저하 가능성을 고려하여 추가적인 연구가 필요할 것으로 보입니다.