외부 대규모 기반 모델(ExFM): 온라인 광고 추천을 위한 수조 개 매개변수 효율적 서비스 전략
본 기사는 온라인 광고 추천 시스템의 효율성을 높이기 위해 제안된 ExFM(External Large Foundation Model) 프레임워크에 대한 심층적인 분석을 제공합니다. 제한된 자원과 동적으로 변화하는 데이터 환경에서 높은 성능을 유지하는 ExFM의 핵심 전략과 실험 결과를 통해, AI 기반 추천 시스템의 미래 발전 방향을 제시합니다.
외부 대규모 기반 모델(ExFM): 온라인 광고 추천의 혁신
온라인 광고 시스템의 핵심 서비스인 광고 추천은 끊임없는 연구 대상입니다. 최근 연구에 따르면, 추천 모델의 확장과 고급 설계는 성능 향상에 크게 기여합니다. 하지만 대규모 모델에서는 산업적 응용에 있어 두 가지 중요한 과제가 간과되어 왔습니다.
첫째, 제한된 훈련 및 추론 예산: 모델 서비스에 필요한 계산 비용이 증가하면 지연 시간이 발생하고 사용자 경험이 저하될 수 있습니다.
둘째, 동적으로 변화하는 데이터 분포: 새로운 사용자/광고가 추가되고 기존 사용자/광고가 삭제되는 스트리밍 데이터 환경에서 데이터 분포가 역동적으로 변화합니다.
이러한 과제를 해결하기 위해, Liang et al.(2025) 은 외부 대규모 기반 모델(ExFM) 프레임워크를 제안했습니다. ExFM은 외부 증류 및 데이터 증강 시스템(DAS)을 통해 훈련/추론의 계산 비용을 효율적으로 관리하면서 높은 성능을 유지합니다.
핵심 전략은 다음과 같습니다.
- 기반 모델(FM)을 활용한 비용 절감: 기반 모델(FM)이 여러 수직 모델(VM)을 위한 교사 모델 역할을 함으로써, 기반 모델 구축 비용을 여러 모델에 분산시킵니다. 마치 거대한 언어 모델 하나를 만들어 여러 작은 모델들을 가르치는 것과 같습니다.
- 스트리밍 데이터 문제 해결: 보조 헤드와 학생 어댑터를 사용하여 FM과 VM 간의 데이터 분포 불일치 문제를 완화합니다. 스트리밍 데이터의 변화무쌍함에도 불구하고, 모델의 성능을 일관되게 유지하는 전략입니다.
산업 규모의 실제 응용 프로그램과 공개 데이터 세트에 대한 포괄적인 실험 결과는 ExFM이 상당한 성능 향상을 가져온다는 것을 보여줍니다. ExFM은 단순히 모델의 크기를 키우는 것이 아니라, 효율성과 성능을 동시에 고려한 새로운 패러다임을 제시합니다. 이는 온라인 광고 추천 시스템의 미래를 혁신적으로 바꿀 잠재력을 가지고 있습니다. 이 연구는 향후 AI 기반 추천 시스템 설계에 중요한 지침을 제공할 것으로 기대됩니다.
Reference
[arxiv] External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
Published: (Updated: )
Author: Mingfu Liang, Xi Liu, Rong Jin, Boyang Liu, Qiuling Suo, Qinghai Zhou, Song Zhou, Laming Chen, Hua Zheng, Zhiyuan Li, Shali Jiang, Jiyan Yang, Xiaozhen Xia, Fan Yang, Yasmine Badr, Ellie Wen, Shuyu Xu, Hansey Chen, Zhengyu Zhang, Jade Nie, Chunzhi Yang, Zhichen Zeng, Weilin Zhang, Xingliang Huang, Qianru Li, Shiquan Wang, Evelyn Lyu, Wenjing Lu, Rui Zhang, Wenjun Wang, Jason Rudy, Mengyue Hang, Kai Wang, Yinbin Ma, Shuaiwen Wang, Sihan Zeng, Tongyi Tang, Xiaohan Wei, Longhao Jin, Jamey Zhang, Marcus Chen, Jiayi Zhang, Angie Huang, Chi Zhang, Zhengli Zhao, Jared Yang, Qiang Jin, Xian Chen, Amit Anand Amlesahwaram, Lexi Song, Liang Luo, Yuchen Hao, Nan Xiao, Yavuz Yetim, Luoshang Pan, Gaoxiang Liu, Yuxi Hu, Yuzhen Huang, Jackie Xu, Rich Zhu, Xin Zhang, Yiqun Liu, Hang Yin, Yuxin Chen, Buyun Zhang, Xiaoyi Liu, Xingyuan Wang, Wenguang Mao, Zhijing Li, Qin Huang, Chonglin Sun, Shupin Mao, Jingzheng Qin, Peggy Yao, Jae-Woo Choi, Bin Gao, Ernest Wang, Lei Zhang, Wen-Yen Chen, Ted Lee, Jay Zha, Yi Meng, Alex Gong, Edison Gao, Alireza Vahdatpour, Yiping Han, Yantao Yao, Toshinari Kureha, Shuo Chang, Musharaf Sultan, John Bocharov, Sagar Chordia, Xiaorui Gan, Peng Sun, Rocky Liu, Bo Long, Wenlin Chen, Santanu Kolay, Huayu Li
http://arxiv.org/abs/2502.17494v2