챗GPT, 미션 엔지니어링 문제 정의에 도움이 될까? - 일관성과 한계점 분석

본 연구는 ChatGPT가 미션 엔지니어링 문제 정의에 효과적으로 기여할 수 있는지에 대한 실증적 연구를 수행했습니다. ChatGPT는 인간 중심 이해관계자 식별에는 강점을 보였지만, 외부 시스템 및 환경 요인 인식, 추상적 수준 유지 등에서는 약점을 보였고, 출력의 변동성 또한 높았습니다. 따라서 ChatGPT는 전문가 업무량 감소에 기여할 수 있으나, 신뢰성 확보를 위한 추가적인 연구가 필요합니다.

최근 Max Ofsa와 Taylan G. Topcu 연구진이 발표한 논문 "An Empirical Exploration of ChatGPT's Ability to Support Problem Formulation Tasks for Mission Engineering and a Documentation of its Performance Variability"는 생성형 AI인 ChatGPT가 미션 엔지니어링(ME) 문제 정의에 얼마나 효과적인지에 대한 흥미로운 결과를 제시합니다.

미션 엔지니어링은 시스템 엔지니어링의 발전된 형태로, 특히 미 국방부에서 시스템-오브-시스템 관점을 공식화하는 데 사용됩니다. ME 문제 정의는 모호한 문제를 엔지니어링 개발에 적합한 명확한 문제로 변환하는 어려운 과정입니다. 연구진은 NASA 우주 임무 설계 과제를 참조 문제로 삼아 ChatGPT-3.5의 이해관계자 식별 능력을 평가했습니다. 여러 번의 병렬 시도를 통해 LLM(대규모 언어 모델) 출력의 질과 변동성을 정성적으로 분석한 결과, 흥미로운 양면성이 드러났습니다.

ChatGPT의 강점과 약점:

👍 ChatGPT는 인간 중심의 이해관계자를 잘 식별했습니다. 이는 일상적인 업무에서의 활용 가능성을 시사합니다.

👎 반면, 외부 시스템 및 환경 요인을 인식하는 데는 어려움을 보였습니다. 복잡한 시스템을 다루는 ME의 특성을 고려할 때 이는 심각한 제약입니다. 또한, 원하는 수준의 추상화를 유지하지 못하고, 문제 정의보다는 솔루션 중심적인 결과를 생성하는 경향을 보였습니다. 이는 문제 해결의 핵심인 문제 정의 단계에서의 활용에 대한 의문을 제기합니다.

⚠️ 가장 중요한 것은 병렬 실행 시 출력의 큰 변동성입니다. 이는 ChatGPT의 결과를 단순히 신뢰할 수 없다는 것을 의미합니다. 연구진은 ChatGPT의 능력을 확률적으로 바라볼 것을 제안합니다.

결론:

연구 결과는 ChatGPT가 전문가의 업무량을 줄이는 데 기여할 수 있지만, 일관성 부족과 도메인 이해의 부족으로 인해 문제 정의 작업에 대한 신뢰성이 제한적임을 시사합니다. ChatGPT를 활용하려면 그 한계를 명확히 인지하고, 결과를 신중하게 검토하며, 확률적 관점에서 해석해야 합니다. 이는 단순히 도구의 성능을 넘어, AI 활용의 윤리적 책임과 신뢰성 확보에 대한 중요한 메시지를 함축하고 있습니다. 미래의 AI 기술 발전과 함께, 이러한 한계점을 극복하는 방안에 대한 지속적인 연구가 필요합니다.