외부 대규모 기반 모델(ExFM): 온라인 광고 추천을 위한 수조 개 매개변수 효율적 서비스 전략
50명의 연구진이 개발한 ExFM(External Large Foundation Model) 프레임워크는 온라인 광고 추천 시스템의 훈련 및 추론 비용을 효율적으로 관리하면서 높은 성능을 유지하는 혁신적인 기술입니다. 외부 증류, 데이터 증강 시스템, 기반 모델과 수직 모델의 효율적인 연동을 통해 실제 산업 환경에 적용 가능한 실용적인 LLM 활용 전략을 제시합니다.
외부 대규모 기반 모델(ExFM): 온라인 광고 추천의 혁신
온라인 광고 시스템의 핵심 서비스인 광고 추천은 끊임없는 연구 대상입니다. 최근 연구에 따르면, 추천 모델의 확장과 고급 설계는 성능 향상에 큰 영향을 미칩니다. 하지만 대규모 모델일수록 산업 현장 적용에는 어려움이 있습니다. 기존 연구는 산업 규모 애플리케이션의 두 가지 근본적인 과제를 간과하는 경향이 있습니다.
첫째, 훈련 및 추론 비용 제약: 모델 서비스에 필요한 비용을 초과하면 지연 시간이 발생하고 사용자 경험이 저하될 수 있습니다. 둘째, 동적 데이터 분포: 대량의 데이터가 스트리밍 방식으로 도착하고, 새로운 사용자/광고가 추가되고 기존 사용자/광고가 시스템에서 제거되면서 데이터 분포가 역동적으로 변화합니다.
명부량 등 50명의 연구진이 제안한 ExFM(External Large Foundation Model) 프레임워크는 이러한 과제를 해결합니다. ExFM은 외부 증류 및 데이터 증강 시스템(DAS)을 통해 훈련/추론의 계산 비용을 제어하면서 높은 성능을 유지합니다. 기반 모델(FM)이 여러 수직 모델(VM)에 서비스를 제공하는 방식으로 비용을 절감하고, 보조 헤드와 학생 어댑터를 통해 스트리밍 데이터로 인한 FM과 VM 간의 데이터 분포 차이를 완화합니다.
내부 산업 규모 애플리케이션과 공개 데이터 세트에 대한 포괄적인 실험 결과는 ExFM의 성능 향상을 입증했습니다. 이는 온라인 광고 추천 시스템의 효율성과 정확성을 크게 향상시키는 획기적인 연구 결과로 평가됩니다. ExFM은 단순한 모델 확장을 넘어, 실제 산업 환경에 적용 가능한 효율적인 LLM 활용 전략을 제시하여 주목받고 있습니다. 향후 연구는 ExFM의 확장성과 다양한 응용 분야에 대한 추가적인 연구가 기대됩니다.
Reference
[arxiv] External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
Published: (Updated: )
Author: Mingfu Liang, Xi Liu, Rong Jin, Boyang Liu, Qiuling Suo, Qinghai Zhou, Song Zhou, Laming Chen, Hua Zheng, Zhiyuan Li, Shali Jiang, Jiyan Yang, Xiaozhen Xia, Fan Yang, Yasmine Badr, Ellie Wen, Shuyu Xu, Hansey Chen, Zhengyu Zhang, Jade Nie, Chunzhi Yang, Zhichen Zeng, Weilin Zhang, Xingliang Huang, Qianru Li, Shiquan Wang, Evelyn Lyu, Wenjing Lu, Rui Zhang, Wenjun Wang, Jason Rudy, Mengyue Hang, Kai Wang, Yinbin Ma, Shuaiwen Wang, Sihan Zeng, Tongyi Tang, Xiaohan Wei, Longhao Jin, Jamey Zhang, Marcus Chen, Jiayi Zhang, Angie Huang, Chi Zhang, Zhengli Zhao, Jared Yang, Qiang Jin, Xian Chen, Amit Anand Amlesahwaram, Lexi Song, Liang Luo, Yuchen Hao, Nan Xiao, Yavuz Yetim, Luoshang Pan, Gaoxiang Liu, Yuxi Hu, Yuzhen Huang, Jackie Xu, Rich Zhu, Xin Zhang, Yiqun Liu, Hang Yin, Yuxin Chen, Buyun Zhang, Xiaoyi Liu, Xingyuan Wang, Wenguang Mao, Zhijing Li, Qin Huang, Chonglin Sun, Nancy Yu, Shuo Gu, Shupin Mao, Benjamin Au, Jingzheng Qin, Peggy Yao, Jae-Woo Choi, Bin Gao, Ernest Wang, Lei Zhang, Wen-Yen Chen, Ted Lee, Jay Zha, Yi Meng, Alex Gong, Edison Gao, Alireza Vahdatpour, Yiping Han, Yantao Yao, Toshinari Kureha, Shuo Chang, Musharaf Sultan, John Bocharov, Sagar Chordia, Xiaorui Gan, Peng Sun, Rocky Liu, Bo Long, Wenlin Chen, Santanu Kolay, Huayu Li
http://arxiv.org/abs/2502.17494v4