혁신적인 저랭크 압축 기술: 메모리 내 컴퓨팅의 새로운 지평을 열다

강은전, 조니 레이, 고종환 연구팀은 메모리 내 컴퓨팅(IMC) 아키텍처에서 저랭크 압축 기술을 활용하여 모델 크기를 줄이고 성능을 향상시키는 새로운 방법을 제시했습니다. SDK 매핑 기법과 그룹 저랭크 합성곱을 통해 기존 가지치기 기법 대비 최대 2.5배 속도 향상 또는 20.9% 정확도 향상을 달성했습니다.

메모리 내 컴퓨팅(IMC)의 혁신: 저랭크 압축 기술

최근 인공지능(AI)의 발전과 함께 모델의 크기가 기하급수적으로 증가하면서, 메모리 내 컴퓨팅(IMC) 아키텍처의 중요성이 더욱 커지고 있습니다. IMC는 연산과 메모리를 하나로 통합하여 에너지 효율을 높이고 속도를 향상시키는 혁신적인 기술입니다. 그러나 기존의 모델 압축 기법인 가지치기는 추가적인 주변 회로가 필요하고 데이터 흐름의 복잡성을 증가시켜 IMC의 장점을 제대로 활용하지 못하는 한계가 있었습니다.

강은전, 조니 레이, 고종환 연구팀은 이러한 문제를 해결하기 위해 저랭크 압축이라는 새로운 접근법을 제시했습니다. 저랭크 압축은 기존의 가지치기와 달리 데이터 흐름을 간소화하여 IMC 아키텍처와의 원활한 통합을 가능하게 합니다. 하지만 저랭크 압축 역시 IMC 어레이 활용도 저하 및 정확도 저하라는 새로운 과제에 직면합니다.

연구팀은 이러한 문제를 해결하기 위해 두 가지 핵심 기술을 도입했습니다. 첫째, 쉬프트 앤 듀플리케이트 커널(SDK) 매핑 기법을 통해 IMC 어레이의 유휴 컬럼을 병렬 처리에 활용하여 효율성을 극대화했습니다. 둘째, 그룹 저랭크 합성곱을 통해 분해된 행렬의 정보 불균형 문제를 해결하여 정확도를 향상시켰습니다.

결과는 놀라웠습니다. 연구팀의 실험 결과에 따르면, 제안된 방법은 기존 가지치기 기법에 비해 최대 2.5배의 속도 향상 또는 20.9%의 정확도 향상을 달성했습니다. 이는 IMC 아키텍처의 성능을 획기적으로 개선할 수 있는 중요한 발견입니다.

이 연구는 단순히 기술적인 발전을 넘어, 에너지 효율적인 AI 시스템 개발에 중요한 이정표를 세웠다는 점에서 큰 의미를 가집니다. 앞으로 저랭크 압축 기술은 AI의 발전과 더불어 더욱 광범위하게 활용될 것으로 예상됩니다. 특히, 모바일 및 임베디드 시스템과 같은 저전력 환경에서의 AI 응용 분야에 큰 영향을 미칠 것으로 기대됩니다.