딥러닝 아키텍처의 표현력 비교: 변환기 vs RNN vs 사고 연쇄

본 연구는 합성 추론 질문(CRQ)이라는 새로운 문제 유형을 제시하고, 변환기, RNN, 사고 연쇄 기법을 사용하는 변환기의 표현력을 비교 분석했습니다. 각 아키텍처의 CRQ 해결을 위한 필요 자원을 분석하고, 그 강점과 약점을 밝히는 동시에, 특정 문제에 대한 최적 아키텍처는 없다는 점을 시사합니다.

합성 추론 질문(CRQ)이라는 새로운 난제 등장!

최근 Gilad Yehudai, Noah Amsel, Joan Bruna 세 연구자는 흥미로운 연구 결과를 발표했습니다. 그들은 합성 추론 질문(Compositional Reasoning Questions, CRQ) 이라는 새로운 문제 유형을 제시하며, 변환기(Transformers), 순환 신경망(RNNs), 그리고 사고 연쇄(Chain of Thought) 토큰을 사용하는 변환기의 표현력을 비교 분석했습니다. CRQ는 부울 함수 평가나 다단계 단어 문제와 같은 문제를 포함하는 복잡한 문제 유형입니다.

각 아키텍처의 한계와 가능성:

연구진은 회로 복잡도와 통신 복잡도에 대한 표준 가정을 바탕으로, 세 가지 아키텍처 모두 입력 크기에 따라 특정 하이퍼파라미터(깊이, 임베딩 차원, 사고 연쇄 토큰 수)가 증가하지 않고는 CRQ를 해결할 수 없다는 것을 증명했습니다. 즉, 아무리 강력한 모델이라도 어느 정도의 계산 자원은 필요하다는 것을 의미합니다.

하지만 희망적인 소식도 있습니다! 연구진은 각 아키텍처에 대한 CRQ 해결 방법을 제시했습니다.

• 변환기: 문제 크기의 로그 함수에 비례하는 깊이를 사용하여 CRQ를 효율적으로 해결할 수 있습니다. 로그 함수적 증가는 지수함수적 증가에 비해 훨씬 완만한 증가를 의미하며, 이는 변환기의 효율성을 보여줍니다.
• RNN: 입력이 특정 순서로 제공되는 경우 로그 함수적인 임베딩 차원이 필요충분 조건입니다. 하지만 입력 순서가 중요하다는 점은 RNN의 한계를 보여주는 부분입니다. 입력 순서가 무작위일 경우에는 선형 차원이 필요해 효율성이 떨어집니다.
• 사고 연쇄를 사용하는 변환기: n개의 사고 연쇄 토큰을 사용하여 CRQ를 해결할 수 있습니다. 이는 사고 연쇄 기법이 복잡한 문제 해결에 효과적임을 보여주는 결과입니다.

결론:

이 연구는 CRQ와 같은 복잡한 문제에 대해, 각 아키텍처의 강점과 약점을 명확하게 보여줍니다. 어떤 아키텍처가 다른 아키텍처보다 절대적으로 우월하다고 단정 지을 수 없다는 점을 강조하며, 문제의 특성과 자원 제약 조건에 따라 최적의 아키텍처를 선택해야 함을 시사합니다. 앞으로 더욱 다양한 아키텍처와 문제 유형에 대한 연구가 필요하며, 이 연구는 AI의 발전에 중요한 기여를 할 것으로 예상됩니다.