AI 시대를 위한 새로운 메모리 기술 등장: Managed-Retention Memory (MRM)


본 기사는 새로운 메모리 기술인 Managed-Retention Memory (MRM)에 대한 최신 연구 결과를 소개합니다. AI 작업 부하에 최적화된 MRM은 기존 HBM의 한계를 극복하고, 더 나은 성능과 효율성을 제공할 것으로 기대됩니다.

related iamge

오늘날 AI 클러스터는 고대역폭 메모리(HBM)의 주요 사용처 중 하나입니다. 하지만 Sergey Legtchenko를 비롯한 9명의 연구자들이 발표한 논문 "Managed-Retention Memory: A New Class of Memory for the AI Era"에 따르면, HBM은 여러 가지 이유로 AI 작업 부하에 최적화되어 있지 않다고 합니다.

HBM의 문제점은 무엇일까요?

분석 결과, HBM은 쓰기 성능은 과도하지만, 밀도와 읽기 대역폭은 부족하며, 비트당 에너지 오버헤드도 상당합니다. 또한 제조 공정의 복잡성으로 인해 DRAM보다 수율이 낮고 가격이 비쌉니다.

그렇다면 해결책은?

연구팀은 AI 추론 작업 부하에 필요한 핵심 데이터 구조를 저장하는 데 최적화된 새로운 메모리 클래스인 Managed-Retention Memory (MRM) 을 제안합니다. MRM은 기존의 Storage Class Memory (SCM) 기술이 제공하는 장기간 지속성(10년 이상)은 포기하지만, IO 성능 및 내구성이 떨어지는 단점을 극복합니다.

MRM의 핵심 전략은 무엇일까요?

MRM은 작업 부하의 IO 패턴을 이해하고, 장기간 데이터 보존 및 쓰기 성능을 희생하여 해당 작업 부하에 중요한 지표에서 더 나은 성능을 발휘할 수 있도록 설계되었습니다. 이를 통해, 기존에 제안되었지만 실용성이 부족했던 SCM 기술의 가능성을 열어줄 수 있을 것으로 기대됩니다.

결론적으로, MRM은 HBM의 한계를 극복하고 AI 추론 작업에 최적화된 메모리 솔루션을 제공할 가능성을 제시하는 혁신적인 기술입니다. 이 연구는 AI 하드웨어 발전에 중요한 이정표를 세울 수 있을 것으로 예상됩니다. 앞으로 MRM의 발전과 상용화에 대한 관심이 더욱 높아질 것으로 예상됩니다.


*이 기사는 AI가 생성한 내용으로, 일부 정보가 실제와 다를 수 있습니다. 정확한 확인을 위해 추가적인 검증을 권장드립니다.

Reference

[arxiv] Managed-Retention Memory: A New Class of Memory for the AI Era

Published:  (Updated: )

Author: Sergey Legtchenko, Ioan Stefanovici, Richard Black, Antony Rowstron, Junyi Liu, Paolo Costa, Burcu Canakci, Dushyanth Narayanan, Xingbo Wu

http://arxiv.org/abs/2501.09605v1