상관된 Gaussian Process를 이용한 Transformer의 혁신: 표현력과 확장성의 한계를 뛰어넘다

베트남 연구진이 개발한 상관된 Gaussian Process Transformer (CGPT)는 기존 GP 기반 Transformer의 한계를 극복하여 표현력과 확장성을 향상시킨 혁신적인 모델입니다. 비대칭 어텐션을 가능하게 하고 스파스 근사를 통해 효율성을 높였으며, 다양한 벤치마크에서 우수한 성능을 입증했습니다.

AI 학계의 획기적인 발전: 상관된 Gaussian Process Transformer (CGPT)

최근 몇 년 동안, Transformer는 순차 데이터 모델링 분야에서 압도적인 성능으로 주목받고 있습니다. 하지만, 그 널리 퍼진 사용에도 불구하고, Transformer 모델의 불확실성을 정확하게 추정하고 보정하는 것은 여전히 중요한 과제였습니다. 이 문제를 해결하기 위해, 기존 연구에서는 Gaussian Processes (GPs)를 활용하여 Transformer의 어텐션 유닛에 대한 불확실성 보정을 시도하여 상당한 성공을 거두었습니다.

그러나 기존의 GP 기반 Transformer 접근 방식에는 중요한 한계가 있었습니다. GP의 커널 사양의 대칭성 요구사항을 만족시키기 위해 Transformer를 대칭 어텐션 공간으로 제한해야 했기 때문에 모델의 표현 능력이 제한될 수 밖에 없었습니다.

베트남의 연구진, Long Minh Bui, Tho Tran Huu, Duy Dinh, Tan Minh Nguyen, 그리고 Trong Nghia Hoang은 이러한 한계를 극복하기 위해 상관된 Gaussian Process Transformer (CGPT) 라는 새로운 Transformer 모델을 제안했습니다. CGPT는 자체 어텐션 유닛을 상관된 두 개의 GPs (CGPs) 간의 교차 공분산으로 모델링합니다. 이 혁신적인 접근 방식을 통해 비대칭 어텐션이 가능해지면서 GP 기반 Transformer의 표현 능력을 크게 향상시킬 수 있게 되었습니다.

더 나아가, 연구진은 CGP의 스파스 근사를 도출하여 계산 비용을 줄이고 확장성을 높였습니다. 이는 대규모 데이터셋에도 효율적으로 적용 가능하다는 것을 의미합니다.

다양한 벤치마크 작업에 대한 실험 결과는 CGPT가 기존 최첨단 GP 기반 Transformer보다 우수한 성능을 달성했음을 보여줍니다. 이 연구는 Transformer의 불확실성 추정 및 보정에 대한 새로운 가능성을 제시하며, 향후 AI 모델의 신뢰성과 성능 향상에 크게 기여할 것으로 기대됩니다. 연구팀은 관련 코드를 Github (https://github.com/MinhLong210/CGP-Transformers)에 공개하여 다른 연구자들의 재현과 발전을 지원하고 있습니다.

결론적으로, CGPT는 Transformer의 표현력과 확장성의 한계를 극복하는 획기적인 연구 결과이며, AI 분야의 발전에 중요한 이정표를 세웠다고 평가할 수 있습니다.