related iamge

异构集群에서의 고처리량 LLM 추론: 획기적인 성능 향상

Xiong Yi 등 연구진이 발표한 논문은 이종 클러스터 상에서 고처리량 LLM 추론을 위한 새로운 시스템을 제안합니다. 완전 탐색을 통한 배포 구성 최적화와 인스턴스별 처리 능력을 고려한 요청 스케줄링 메커니즘을 통해 최대 122.5%의 처리량 향상을 달성했습니다.

related iamge

NFT 스마트 계약의 AI 기반 취약점 분석: 혁신적인 보안 접근법

왕신과 리샤오치 연구팀의 논문은 AI를 활용하여 NFT 스마트 계약의 취약점을 분석하는 혁신적인 방법을 제시합니다. 의사결정 트리와 랜덤 포레스트 모델을 활용하여 효율적이고 정확한 분석을 수행하며, NFT 생태계의 보안 강화에 기여할 것으로 기대됩니다.

related iamge

혁신적인 HPU: GPU와 손잡고 LLM 추론의 한계를 뛰어넘다!

연세대학교 연구팀이 개발한 HPU는 GPU와의 협업을 통해 LLM 추론의 성능과 에너지 효율을 크게 향상시키는 혁신적인 기술입니다. PCIe 기반 FPGA 카드를 활용한 프로토타입 실험 결과, 기존 시스템 대비 최대 4.1배의 성능 향상과 4.6배의 에너지 효율 개선을 달성하여 LLM 분야의 발전에 크게 기여할 것으로 예상됩니다.

related iamge

TALES: 텍스트 어드벤처 게임으로 배우는 AI 추론의 미래

마이크로소프트 연구팀이 개발한 TALES는 텍스트 어드벤처 게임을 활용하여 LLM의 추론 능력을 평가하는 새로운 벤치마크입니다. 실험 결과, 최고 성능의 LLM조차 인간이 즐기는 게임에서는 15% 미만의 성공률을 보였으며, 이는 향후 AI 연구 개발의 중요한 방향을 제시합니다.

related iamge

영국 소상공인을 위한 생성 AI 디자인 도구 ACAI: 혁신적인 멀티모달 인터페이스

영국 소규모 사업주들을 위한 멀티모달 생성 AI 도구 ACAI는 구조화된 프롬프트 시스템을 통해 사용자의 브랜드 정체성과 디자인 목표를 효과적으로 반영, 쉽고 직관적인 광고 디자인을 가능하게 합니다. HCI 분야에 새로운 가능성을 제시하는 이 연구는 생성 AI의 대중화에 기여할 것으로 기대됩니다.