본 기사는 Yushi Feng 등의 연구팀이 개발한 DemoGraph를 소개합니다. DemoGraph는 LLM을 활용한 컨텍스트 기반 그래프 데이터 증강 방법으로, 폐쇄적인 LLM의 접근성 문제를 해결하고 데이터 증강의 효율성을 높였습니다. 특히 EHR 데이터에서 뛰어난 성능을 보이며 의료 분야에 큰 기여를 할 것으로 예상됩니다.

Yuan 등 연구진이 개발한 MarkerGen은 LLM의 텍스트 길이 제어 능력을 향상시키는 혁신적인 방법입니다. 하위 능력 분해 및 외부 도구 통합을 통해 LLM의 한계를 극복하고, 다양한 환경에서 우수한 성능을 보였습니다. 이는 LLM의 실용성을 크게 높이고, AI 기술 발전에 중요한 기여를 할 것으로 예상됩니다.

Xiao Qingfa 등 연구진이 개발한 ActQKV는 장문 컨텍스트 LLM의 추론 효율성 문제를 해결하기 위한 혁신적인 기술로, 활성화 편향과 동적 KV 차단 메커니즘을 통해 최첨단 성능과 자원 효율성을 달성했습니다.

광평 허 박사의 연구를 통해 HHL 알고리즘의 인코딩 병목 현상이 해결되어 양자 컴퓨팅의 속도 향상 및 실용화에 큰 진전을 이루었습니다. 수정된 HHL 알고리즘을 이용하여 초기 양자 상태 준비 시간을 획기적으로 줄임으로써 양자 컴퓨팅의 발전에 기여할 것으로 예상됩니다.

본 기사는 메모리 효율적인 거대 언어 모델 학습을 위한 혁신적인 기법인 LoRAM에 대해 소개합니다. LoRAM은 가지치기된 작은 모델을 학습하여 얻은 저계수 행렬을 원본 모델에 적용하여 메모리 사용량을 획기적으로 줄이고, 동시에 우수한 성능을 달성하는 기법입니다. 특히 QLoRAM은 메모리 비용을 15배 이상 절감하면서 성능 향상을 가져왔습니다. 이는 제한된 자원으로도 거대 언어 모델 학습이 가능하게 하는 획기적인 기술입니다.