외부 대규모 기반 모델(ExFM): 온라인 광고 추천을 위한 수조 개 매개변수의 효율적인 서비스 제공

70명의 연구진이 개발한 ExFM(External Large Foundation Model) 프레임워크는 온라인 광고 추천 시스템의 효율성과 성능을 크게 향상시키는 혁신적인 기술입니다. 제한된 자원 내에서 대규모 모델을 효과적으로 활용하여 실시간 데이터 변화에 적응하며 최고의 성능을 제공합니다.

외부 대규모 기반 모델(ExFM): 온라인 광고 추천의 혁신

온라인 광고 시스템에서 가장 중요한 서비스 중 하나인 광고 추천 분야에 혁신적인 변화가 일어나고 있습니다. Mingfu Liang 등 70명의 연구진이 발표한 논문, "외부 대규모 기반 모델: 온라인 광고 추천을 위한 수조 개 매개변수의 효율적인 서비스 제공"은 기존의 한계를 뛰어넘는 새로운 프레임워크, ExFM(External Large Foundation Model)을 제시합니다.

기존의 한계를 넘어서

기존 연구들은 대규모 모델의 성능 향상에 집중했지만, 산업 현장의 두 가지 중요한 문제를 간과했습니다. 첫째, 모델 운영에 필요한 학습 및 추론 비용이 엄청나게 증가하여 지연 시간 발생 및 사용자 경험 저하를 야기합니다. 둘째, 방대한 양의 데이터가 실시간으로 유입되며, 새로운 사용자/광고가 추가되고 기존 사용자/광고가 제거되는 등 데이터 분포가 역동적으로 변화합니다.

ExFM: 효율성과 성능의 조화

ExFM은 이러한 문제점을 해결하기 위해 외부 증류(external distillation)와 데이터 증강 시스템(DAS)을 도입했습니다. 이는 마치 거대한 기반 모델(FM)이 여러 개의 수직 모델(VM)을 학습시키는 선생님 역할을 하는 것과 같습니다. FM은 여러 VM에 지식을 전수하여 비용을 절감하고, DAS는 실시간으로 변화하는 데이터 분포에 맞춰 VM을 최적화합니다. 또한 보조 헤드(Auxiliary Head)와 학생 어댑터(Student Adapter)를 통해 FM과 VM 간의 데이터 분포 차이를 줄여줍니다.

실험 결과: 압도적인 성능 향상

다양한 실제 산업 데이터와 공개 데이터셋을 이용한 실험 결과는 ExFM의 압도적인 성능 향상을 보여줍니다. ExFM은 제한된 자원 내에서 최고의 성능을 달성하며, 온라인 광고 추천 분야의 새로운 기준을 제시합니다.

미래 전망: 더욱 발전된 광고 추천 시스템

ExFM은 단순한 기술적 발전을 넘어, 온라인 광고 추천 시스템의 미래를 혁신적으로 변화시킬 잠재력을 가지고 있습니다. 향후 더욱 발전된 ExFM 기반의 광고 추천 시스템은 더욱 개인화되고 효율적이며, 사용자 경험을 향상시키는 데 크게 기여할 것으로 예상됩니다. 이는 단순히 광고 효율 향상뿐 아니라, 사용자 만족도 증대와 나아가 광고 산업 전반의 지속가능한 성장에도 기여할 것입니다. 연구진의 끊임없는 노력과 혁신적인 기술의 발전은 온라인 광고 시장의 새로운 지평을 열어갈 것입니다. ✨