AI가 시스템 다이내믹스 모델을 얼마나 잘 만들까요? 놀라운 결과 발표!

본 기사는 AI가 시스템 다이내믹스(SD) 모델을 구축하는 능력을 평가하기 위한 연구 결과를 소개합니다. 'sd-ai' 오픈소스 프로젝트를 통해 다양한 LLM의 성능을 비교 분석하고, 기술적 정확성과 지시 준수율이라는 새로운 평가 지표를 제시했습니다. GPT-4.5-preview와 O1이 우수한 성능을 보였으며, AI 기반 SD 모델링의 책임있는 발전을 위해 지속적인 평가와 협력의 중요성을 강조합니다.

AI가 시스템 다이내믹스(SD) 모델링을 혁신하다!

시스템 다이내믹스(SD) 분야에 자동화의 바람이 불고 있습니다. AI는 효율성을 높여주지만, 데이터 누락이나 결함 있는 모델로 인한 편향성의 위험도 존재합니다. 인간이 만들든 AI가 만들든, 다양한 관점과 데이터를 고려하지 않은 모델은 품질 저하로 이어질 수 있죠. 윌리엄 쇼엔버그를 비롯한 연구진은 이러한 불확실성을 해소하기 위해, AI가 SD 모델을 얼마나 잘 만들 수 있는지 평가하는 새로운 지표를 제시했습니다.

핵심은 바로 '기술적 정확성'과 '지시 준수율'!

연구진은 AI가 생성한 인과지도를 평가하기 위해 두 가지 지표를 도입했습니다. 첫째, 기술적 정확성(인과 관계 번역) 은 AI가 인과 관계를 얼마나 정확하게 파악하고 번역하는지를 측정합니다. 둘째, 지시 준수율(conformance) 은 AI가 사용자의 지시를 얼마나 잘 따르는지를 평가합니다. 이를 통해 AI 모델의 신뢰성을 더욱 정확하게 판단할 수 있게 된 것입니다.

'sd-ai' 프로젝트: 오픈소스로 AI 기반 SD 모델링의 미래를 열다!

연구진은 이러한 평가 기준을 바탕으로, sd-ai라는 오픈소스 프로젝트를 개발했습니다. sd-ai는 ChatGPT와 같은 AI 기반 도구의 잠재력을 최대한 활용하기 위해 SD 커뮤니티의 협업을 위한 기반을 제공합니다. 뿐만 아니라, sd-ai 생태계 내에서 개발되는 모든 도구를 평가하기 위한 포괄적인 테스트 세트와 평가 이론을 함께 제시하여, 모두가 참여하고 검증할 수 있는 투명한 시스템을 구축했습니다.

놀라운 결과: GPT-4.5-preview와 O1의 압도적인 성능!

연구진은 11개의 서로 다른 대규모 언어 모델(LLM)을 대상으로 인과 관계 번역과 지시 준수 능력을 테스트했습니다. 그 결과, GPT-4.5-preview가 92.9%의 종합 점수로 최고 성능을 기록했습니다. 특히 두 과제 모두에서 뛰어난 성적을 보였습니다. O1은 인과 관계 번역에서 무려 100%의 정확도를 달성했습니다! 반면 GPT-4o는 모든 인과 관계를 정확히 식별했지만, 감소하는 항목에서 양극성에 어려움을 겪었습니다. 흥미로운 점은, GPT-4.5-preview와 O1이 가장 정확하지만, GPT-4o가 가장 저렴하다는 것입니다. 정확성과 비용 효율성 사이의 균형을 고려해야 한다는 것을 시사하는 결과입니다.

지속적인 평가와 협력의 중요성: AI 기반 SD 모델링의 책임있는 발전을 위해!

sd-ai 엔진에 적용된 인과 관계 번역 및 지시 준수 테스트는 다양한 LLM 간의 성능 차이를 보여주었습니다. 이는 AI 기반 동적 모델링 도구의 책임감 있는 개발을 위해 지속적인 평가가 필수적임을 강조합니다. 연구진은 도구 개발자, 모델러, 이해 관계자 간의 공개적인 협업을 통해 AI 도구의 모델링 프로세스 개선 능력을 평가하기 위한 표준 척도를 마련하고자 노력하고 있습니다. AI 기반 SD 모델링의 미래는 바로 이러한 협력과 지속적인 발전에 달려 있습니다.