구글의 대규모 머신러닝 인프라: 116% 성능 향상과 18% 비용 절감의 비밀

구글의 새로운 연구는 대규모 머신러닝 인프라의 효율성을 획기적으로 개선하여 116%의 성능 향상과 18%의 비용 절감을 달성했습니다. 공유 입력 생성, 분할 및 파이프라이닝, RPC 병합 등의 소프트웨어 기술이 핵심입니다.

구글은 온라인 광고 추천 및 경매 스코어링 모델링을 위해 엄청난 규모의 컴퓨팅 자원을 필요로 합니다. TPU와 같은 최첨단 하드웨어에도 불구하고, 대규모 시스템의 효율적인 운영은 여전히 큰 과제였습니다. 최근 발표된 논문, "Scalable Machine Learning Training Infrastructure for Online Ads Recommendation and Auction Scoring Modeling at Google" 에서는 이러한 문제를 해결하기 위한 혁신적인 접근 방식을 제시합니다.

세 가지 핵심 과제와 그 해결책:

논문은 효율적인 엔드투엔드 실행을 위해 다음 세 가지 중요한 과제를 제시하고, 각 과제에 대한 해결책을 제시합니다.

1. 입력 생성 및 수집 파이프라인: 원시 기능 (예: "검색 쿼리")을 숫자 입력으로 효율적으로 변환하고 TPU로 스트리밍하는 방법. 해결책: 여러 모델에서 비용을 분산하는 공유 입력 생성 기법을 통해 컴퓨팅 부하를 줄였습니다.

2. 대규모 임베딩 테이블: 희소 기능을 신경망에 사용할 수 있는 고밀도 부동 소수점 벡터로 변환하는 최적화. 해결책: 분할, 파이프라이닝, RPC(원격 프로시저 호출) 병합 등의 소프트웨어 기술을 통해 임베딩 작업을 최적화했습니다.

3. 중단 및 오류 처리: 대규모 공유 데이터 센터에서 리소스 낭비를 최소화하는 방법. 해결책: 새로운 선점 알림 및 훈련 유지 메커니즘을 통해 리소스 낭비를 최소화하고 신속한 오류 해결을 보장했습니다.

놀라운 결과:

이러한 기술들은 구글의 실제 운영 환경에서 상당한 성능 향상을 가져왔습니다. 대표적인 모델에서 116%의 성능 향상과 18%의 훈련 비용 절감을 달성했습니다. 이는 단순한 성능 개선을 넘어, 구글과 같은 대규모 시스템에서 효율성을 극대화하는 방법에 대한 중요한 통찰력을 제공합니다. 이 연구는 머신러닝 인프라의 확장성 문제에 대한 새로운 해결책을 제시하며, 향후 관련 연구의 발전에 큰 영향을 미칠 것으로 예상됩니다.

참고: 본 기사는 George Kurian 외 여러 저자의 논문 "Scalable Machine Learning Training Infrastructure for Online Ads Recommendation and Auction Scoring Modeling at Google"을 바탕으로 작성되었습니다.