외부 대규모 기반 모델(ExFM): 온라인 광고 추천을 위한 수조 개 매개변수 효율적 서비스

Mingfu Liang 등 70명 이상의 연구진이 개발한 ExFM(External Large Foundation Model)은 온라인 광고 추천 시스템의 효율성을 획기적으로 개선한 프레임워크입니다. 제한된 자원과 동적으로 변화하는 데이터 분포라는 산업 현장의 어려움을 외부 증류 및 데이터 증강 시스템을 통해 해결하여, 실험 결과 상당한 성능 향상을 달성했습니다. 이는 AI 기반 광고 추천 기술의 새로운 지평을 여는 혁신적인 연구 성과입니다.

혁신적인 광고 추천 시스템: ExFM의 등장

온라인 광고 시스템의 핵심 서비스인 광고 추천 분야에서 획기적인 발전이 있었습니다. Mingfu Liang을 비롯한 70명 이상의 연구진이 개발한 외부 대규모 기반 모델(ExFM) 이 바로 그 주인공입니다. 기존 연구들이 모델 확장성에 집중한 것과 달리, ExFM은 실제 산업 환경의 어려움을 정면으로 해결하는 데 초점을 맞췄습니다.

산업 현장의 두 가지 난제: 제한된 자원과 역동적인 데이터

대규모 모델을 실제 서비스에 적용하는 데는 두 가지 큰 장벽이 존재합니다. 첫째, 훈련과 추론에 필요한 막대한 비용과 시간입니다. 모델이 너무 크면 지연 시간이 길어져 사용자 경험을 저하시키기 때문입니다. 둘째, 새로운 사용자와 광고가 끊임없이 유입되고 기존 사용자와 광고가 사라지는 역동적인 데이터 환경입니다. 데이터 분포가 끊임없이 변화하는 상황에서 모델의 성능을 유지하는 것은 매우 어려운 과제였습니다.

ExFM: 두 마리 토끼를 잡다

ExFM은 이러한 문제점을 해결하기 위해 외부 증류와 데이터 증강 시스템(DAS) 이라는 두 가지 핵심 기술을 도입했습니다. 외부 증류는 대규모 기반 모델(FM)을 여러 개의 작은 모델(VM)로 효율적으로 분산 학습시키는 기술이며, DAS는 동적으로 변화하는 데이터 분포를 고려하여 모델의 성능을 최적화합니다. 이는 마치 거대한 기반 모델이 여러 작은 모델들을 가르치고 지원하는 형태로, 훈련 비용을 분산하고 효율성을 극대화하는 전략입니다. 또한, 보조 헤드(Auxiliary Head)와 학생 어댑터(Student Adapter)를 통해 기반 모델과 작은 모델 간의 데이터 분포 불일치 문제까지 해결했습니다.

실험 결과: 놀라운 성능 향상

실제 산업용 데이터셋과 공개 데이터셋을 사용한 실험 결과, ExFM은 기존 방법에 비해 상당한 성능 향상을 보였습니다. 이는 ExFM이 단순한 기술적 개선을 넘어, 실제 산업 환경에 적용 가능한 실용적인 솔루션임을 입증하는 것입니다.

결론: AI 광고 추천의 새로운 지평

ExFM의 등장은 온라인 광고 추천 시스템의 발전에 새로운 이정표를 세웠습니다. 제한된 자원과 역동적인 데이터 환경 속에서도 높은 성능을 유지할 수 있는 ExFM은 AI 기반 광고 추천 기술의 미래를 밝게 비추고 있습니다. 앞으로 더욱 발전된 ExFM을 통해 더욱 개인화되고 효율적인 광고 추천 서비스를 기대할 수 있습니다.