바이트 쌍 인코딩의 한계를 넘어서: BoundlessBPE의 혁신

BoundlessBPE는 전처리 토큰화의 제약을 완화하여 토큰 분포의 균형을 개선하고 텍스트 압축 효율을 높이는 혁신적인 BPE 알고리즘입니다. 슈퍼워드 개념을 도입하여 토큰당 바이트 수를 약 20% 증가시키는 성과를 거두었습니다.

혁신적인 토큰화 알고리즘, BoundlessBPE 등장!

자연어 처리 분야에서 토큰화는 필수적인 첫 단계입니다. 기존의 많은 토큰화 파이프라인은 전처리 토큰화(Pre-tokenization) 라는 과정을 거치는데, 이는 텍스트를 공백과 구두점을 기준으로 더 작은 단위인 전처리 토큰(Pretokens) 으로 나누는 작업입니다. 이 과정은 전체 단어를 토큰으로 유지하는 데 도움이 되지만, 바이트 쌍 인코딩(BPE) 와 같은 많은 토큰화 알고리즘에 근본적인 한계를 가져옵니다.

Craig W. Schmidt, Varshini Reddy, Chris Tanner, Yuval Pinter 등의 연구진이 발표한 논문 "Boundless Byte Pair Encoding: Breaking the Pre-tokenization Barrier"에 따르면, 전처리 토큰화는 말뭉치 내 토큰 분포를 흔히 사용되는 전체 단어 쪽으로 심하게 치우치게 만든다고 합니다. 이러한 불균형은 어휘를 확장하더라도 추가 토큰의 출현 빈도가 낮아져 그 효과가 제한적이라는 것을 의미합니다.

연구진은 이러한 한계를 극복하기 위해 BoundlessBPE라는 새로운 BPE 알고리즘을 제안했습니다. BoundlessBPE는 전처리 토큰 경계 제약을 완화하여 두 개의 완전한 전처리 토큰을 하나의 더 큰 단위인 슈퍼워드(Superword) 로 선택적으로 병합합니다. 흥미로운 점은 슈퍼워드가 반드시 의미적으로 일관성이 있을 필요는 없다는 점입니다. 예를 들어, "of"와 "the"가 결합하여 "of the"라는 슈퍼워드를 형성할 수 있습니다.

이러한 병합 전략은 표준 BPE보다 말뭉치 전체의 토큰 분포를 훨씬 균일하게 만들고, 토큰당 바이트 수를 약 20% 증가시켜 텍스트 압축 효율을 높입니다. BoundlessBPE는 기존 토큰화 방식의 한계를 뛰어넘는 혁신적인 접근 방식으로, 자연어 처리 분야에 새로운 가능성을 제시합니다. 향후 연구를 통해 BoundlessBPE의 성능과 활용 가능성이 더욱 확대될 것으로 기대됩니다.