폐기된 AI 모델, 재활용이 가능할까요? AIOps 솔루션의 모델 선택 메커니즘에 대한 실증적 평가

본 연구는 AIOps 시스템에서 폐기되는 과거 모델들을 재활용하는 모델 선택 메커니즘의 효과를 실증적으로 평가했습니다. 구글, 알리바바, BackBlaze 데이터셋을 활용한 결과, 시간적 인접성을 활용하는 메커니즘이 기존 주기적 재훈련 방식보다 우수한 성능을 보였습니다. 하지만 이론적 상한선과의 성능 차이를 고려하여 향후 더 효율적인 모델 선택 메커니즘 개발의 필요성을 제기했습니다.

대규모 시스템 운영 중 생성되는 방대한 데이터와 머신러닝 모델을 활용하여 소프트웨어 개발자들의 시스템 운영을 지원하는 AIOps(Artificial Intelligence for IT Operations) 솔루션. 기존 AIOps 솔루션들은 개념 이동(concept drift)에 대응하여 주기적인 재훈련을 통해 모델을 유지하지만, 성능이 좋은 과거 모델들이 버려지는 문제점이 존재합니다.

Yingzhe Lyu, Hao Li, Heng Li, Ahmed E. Hassan 등 연구진은 이러한 문제를 해결하기 위해 과거 모델들을 활용하는 모델 선택 메커니즘을 평가하는 연구를 진행했습니다. 연구진은 다양한 모델 선택 메커니즘을 평가하여, 과거에 생성된 최적의 AIOps 모델을 선택하고 예측하는 능력을 분석했습니다.

연구 방법:

• 구글과 알리바바의 클라우드 컴퓨팅 플랫폼의 트레이스 데이터셋 2개와 BackBlaze 클라우드 스토리지 데이터센터의 디스크 통계 데이터셋 1개 등 세 개의 대규모 공개 운영 데이터셋을 사용했습니다.
• 여러 모델 선택 메커니즘을 평가하여 시간적 인접성을 활용하는 메커니즘의 성능을 분석했습니다.
• 주기적인 재훈련 방식과의 성능 비교를 통해 시간적 인접성 기반 모델 선택 메커니즘의 우수성을 검증했습니다.

연구 결과:

연구 결과, 시간적 인접성을 활용하는 모델 선택 메커니즘이 더 나은 성능을 보이며, 주기적인 재훈련 방식보다 우수한 것으로 나타났습니다. 하지만, 기존 모델 선택 메커니즘과 이론적 상한선 사이에는 성능 차이가 존재하며, 이는 AIOps 환경에 적합한 더 효율적이고 효과적인 모델 선택 메커니즘에 대한 추가 연구의 필요성을 시사합니다. 즉, 단순히 새로운 모델만을 사용하는 것이 아니라, 과거의 모델들을 효과적으로 활용하는 전략이 AIOps 성능 향상에 중요한 역할을 할 수 있다는 것을 보여주는 흥미로운 결과입니다. 이 연구는 AIOps 분야에서 모델 관리 및 활용 전략에 대한 새로운 시각을 제공하며, 지속적인 성능 향상을 위한 중요한 발걸음이 될 것으로 기대됩니다.

향후 연구 방향: 더욱 효율적이고 효과적인 모델 선택 메커니즘 개발 및 AIOps 환경에 최적화된 모델 관리 전략 연구가 필요합니다. 이를 통해 자원 낭비를 줄이고, 더욱 정확하고 안정적인 AIOps 시스템 구축이 가능할 것으로 예상됩니다. 폐기되는 모델들의 재활용은 지속가능한 AI 시스템 구축에 중요한 의미를 갖습니다.