ZETA: Z-order Curve를 활용한 효율적인 Top-k 어텐션 알고리즘

ZETA는 Z-order Curve를 이용하여 top-k 어텐션의 병렬 처리를 가능하게 함으로써 긴 시퀀스 처리의 효율성을 크게 향상시킨 알고리즘입니다. 키와 쿼리 차원 축소 전략을 통해 차원의 저주 문제와 상대적 거리 보존 사이의 균형을 맞추고, 실험 결과 기존 알고리즘을 능가하는 성능을 입증했습니다.

ZETA: 긴 시퀀스 처리의 혁신적인 돌파구

최근 몇 년 동안 트랜스포머는 시퀀스 모델링 아키텍처의 기본 구성 요소로 자리 잡았습니다. 하지만 트랜스포머의 핵심인 자기 어텐션은 시퀀스 길이 N에 따라 메모리 및 계산 비용이 이차적으로 증가하여 긴 시퀀스 처리에 어려움을 겪습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 top-k 어텐션입니다. top-k 어텐션은 가장 관련성이 높은 k개의 토큰만 선택하여 일반 자기 어텐션과 유사한 성능을 달성하면서 공간 및 계산 요구량을 크게 줄입니다.

하지만 기존 top-k 어텐션 방법은 인과 마스크(causal masks)로 인해 현재 쿼리 토큰이 과거 토큰만 참조해야 하므로, 가장 관련성이 높은 토큰을 병렬적으로 효율적으로 검색하는 데 한계가 있습니다. 이는 훈련 효율성을 저해하는 주요 요인입니다.

Qiuhao Zeng 등 연구진이 제안한 ZETA는 이러한 문제를 해결하기 위해 Z-order Curve를 활용합니다. ZETA는 전체 시퀀스에 대해 과거 토큰을 병렬로 쿼리할 수 있도록 설계되어, 공간 및 시간 복잡도를 O(N log N)으로 줄입니다. 연구진은 먼저 키와 쿼리 차원의 선택이 차원의 저주와 투영 후 상대적 거리 보존 사이의 절충을 수반한다는 것을 이론적으로 증명했습니다. 이러한 통찰력에 따라, 값(values)과는 대조적으로 키와 쿼리의 차원을 줄이고, Z-order curve를 활용하여 저차원 키와 쿼리를 1차원 공간으로 매핑합니다. 이를 통해 병렬 정렬이 가능해져 top-k 토큰 선택의 효율성이 크게 향상됩니다.

실험 결과, ZETA는 합성 Multi-Query Associative Recall 작업에서 표준 어텐션과 동일한 성능을 보였으며, Long Range Arena 및 WikiText-103 언어 모델링 작업에서 기존 어텐션 및 변형 알고리즘을 능가하는 성능을 기록했습니다. 이는 ZETA가 긴 시퀀스 처리에 대한 효율적인 솔루션을 제공할 수 있음을 시사합니다. ZETA의 등장은 트랜스포머 기반 모델의 성능 향상과 더욱 광범위한 응용 분야 확장에 기여할 것으로 기대됩니다.

결론: ZETA는 Z-order Curve를 효과적으로 활용하여 top-k 어텐션의 효율성을 획기적으로 개선한 알고리즘입니다. 긴 시퀀스 처리의 어려움을 극복하고, 트랜스포머 모델의 성능 향상 및 응용 분야 확장에 중요한 역할을 할 것으로 예상됩니다.