ZETA: Z-Order Curve를 활용한 효율적인 Top-k 어텐션 알고리즘

ZETA 알고리즘은 Z-Order Curve를 활용하여 top-k 어텐션의 효율성을 획기적으로 개선한 알고리즘으로, 긴 시퀀스 처리에 대한 새로운 가능성을 제시합니다. 키와 쿼리 차원 축소 및 병렬 처리를 통해 기존 어텐션 알고리즘보다 우수한 성능을 보였습니다.

ZETA: 긴 시퀀스 처리의 혁신

최근 몇 년 동안 트랜스포머는 시퀀스 모델링 아키텍처의 기본 구성 요소로 자리 잡았습니다. 그러나 트랜스포머의 핵심인 자기 어텐션은 메모리 및 계산 비용이 시퀀스 길이 N의 제곱에 비례하여 증가하기 때문에 긴 시퀀스 처리에 어려움을 겪습니다.

이러한 문제를 해결하기 위해 등장한 것이 top-k 어텐션입니다. top-k 어텐션은 가장 관련성이 높은 k개의 토큰만 선택하여 일반 자기 어텐션과 유사한 성능을 유지하면서 공간 및 계산 요구 사항을 크게 줄입니다. 하지만 기존의 top-k 어텐션은 인과 관계 마스크 때문에 현재 쿼리 토큰이 과거 토큰만 참조해야 하므로, 가장 관련성이 높은 토큰을 병렬적으로 효율적으로 검색하는 데 한계가 있었습니다. 이로 인해 학습 효율이 저하되는 문제가 발생했습니다.

ZETA: 병렬 처리의 힘

중국과학원(CAS)의 Qiuhao Zeng, Jerry Huang, Peng Lu, Gezheng Xu, Boxing Chen, Charles Ling, Boyu Wang 연구팀은 이러한 문제를 해결하기 위해 ZETA(Leveraging Z-order Curves for Efficient Top-k Attention) 알고리즘을 제안했습니다. ZETA는 Z-Order Curve를 활용하여 전체 시퀀스에 대한 과거 토큰을 병렬적으로 쿼리할 수 있도록 합니다. 이를 통해 공간 및 시간 복잡도를 O(N log N)으로 줄였습니다. 이는 기존의 제곱시간 복잡도에서 획기적인 개선입니다.

연구팀은 이론적으로 키와 쿼리 차원의 선택이 차원의 저주와 투영 후 상대적 거리 보존 사이의 절충을 수반함을 보였습니다. 이러한 통찰력을 바탕으로 값과 달리 키와 쿼리의 차원을 줄이고 Z-Order Curve를 활용하여 저차원 키와 쿼리를 1차원 공간으로 매핑했습니다. 이를 통해 병렬 정렬이 가능해져 top-k 토큰 선택의 효율성이 크게 향상되었습니다.

놀라운 실험 결과

실험 결과, ZETA는 합성 Multi-Query Associative Recall 작업에서 표준 어텐션과 동등한 성능을 보였으며, Long Range Arena와 WikiText-103 언어 모델링 작업에서는 기존 어텐션 및 변형 알고리즘을 능가하는 성능을 나타냈습니다. 이는 ZETA의 우수성을 명확하게 보여주는 결과입니다.

ZETA는 긴 시퀀스 처리의 효율성을 극대화하여 트랜스포머 기반 모델의 성능 향상에 크게 기여할 것으로 기대됩니다. 특히 자연어 처리, 시계열 분석 등 긴 시퀀스 데이터를 다루는 다양한 분야에서 혁신적인 발전을 가져올 것으로 예상됩니다. 향후 연구에서는 ZETA의 적용 범위를 더욱 확장하고 다양한 응용 분야에 대한 연구가 진행될 것으로 예상됩니다.