โ๏ธ๐ AI๊ฐ ํญ๊ณต์ฐ์ฃผ ์ฐ์ ์ ๋ง๋ฌ์ ๋: LLM์ ์ ํ์ฑ, ๊ณผ์ฐ ์์ ํ ๊น์?
๋ณธ ๊ธฐ์ฌ๋ ํญ๊ณต์ฐ์ฃผ ์ ์กฐ ๋ถ์ผ์์ ๊ฑฐ๋ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ์ฉ ๊ฐ๋ฅ์ฑ๊ณผ ๊ทธ ํ๊ณ๋ฅผ ๋ค๋ฃน๋๋ค. Liu ๋ฑ(2025)์ ์ฐ๊ตฌ๋ฅผ ๋ฐํ์ผ๋ก LLM์ โํ๊ฐโ ํ์์ผ๋ก ์ธํ ์ค๋ฅ ์ํ์ฑ๊ณผ ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํ ์ ๋ฌธ ์ง์ ๊ธฐ๋ฐ์ ํ๊ฐ ์์คํ ๊ฐ๋ฐ ํ์์ฑ์ ์ ๊ธฐํ๋ฉฐ, ํฅํ ์์ ํ LLM ํ์ฉ์ ์ํ ๊ธฐ์ ์ ๋ฐ ์ค๋ฆฌ์ ๊ณผ์ ๋ฅผ ์ ์ํฉ๋๋ค.

AI๊ฐ ํญ๊ณต์ฐ์ฃผ ์ฐ์ ์ ๋ง๋ฌ์ ๋: LLM์ ์ ํ์ฑ, ๊ณผ์ฐ ์์ ํ ๊น์?
์ต๊ทผ ํญ๊ณต์ฐ์ฃผ ์ ์กฐ ๋ถ์ผ์์ GPT-4, QWen๊ณผ ๊ฐ์ ๊ฑฐ๋ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ์ฉ์ ๋ํ ๊ธฐ๋๊ฐ์ด ๋์์ง๊ณ ์์ต๋๋ค. ๊ณต์ ์ค๊ณ, ์ฌ๋ฃ ์ ํ, ์ ๋ณด ๊ฒ์ ๋ฑ์ LLM์ ํ์ฉํ๋ฉด ํจ์จ์ฑ์ ๋์ผ ์ ์์ ๊ฒ์ด๋ผ๋ ๊ธฐ๋ ๋๋ฌธ์ ๋๋ค. ํ์ง๋ง LLM์ ์ ๋ฌธ ๋ถ์ผ์์ โํ๊ฐ(hallucination)โ ํ์, ์ฆ ์๋ชป๋ ์ ๋ณด๋ฅผ ์ฌ์ค์ฒ๋ผ ์์ฑํ๋ ๋ฌธ์ ๋ฅผ ์๊ณ ์์ต๋๋ค. ํญ๊ณต์ฐ์ฃผ ์ ์กฐ์ฒ๋ผ ์ ๋ฐ์ฑ์ด ์๋ช ์ธ ๋ถ์ผ์์๋ ์ด๋ฌํ ์ค๋ฅ๊ฐ ์น๋ช ์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ์ด๋ํ ์ ์์ต๋๋ค.
Liu ๋ฑ (2025) ์ ์ฐ๊ตฌ๋ ์ด๋ฌํ ๋ฌธ์ ์์์์ ์ถ๋ฐํฉ๋๋ค. ์ฐ๊ตฌ์ง์ ํญ๊ณต์ฐ์ฃผ ์ ์กฐ ์ ๋ฌธ ์ง์์ ๊ธฐ๋ฐ์ผ๋ก LLM์ ์ฑ๋ฅ์ ํ๊ฐํ๋ ์๋ก์ด ์ฒ๋๋ฅผ ์ ์ํ์ต๋๋ค. ๊ทธ๋ค์ ๋จผ์ ์ ๋ฌธ ์์ ๊ณผ ์ง์นจ์ ๊ผผ๊ผผํ ๋ถ์ํ์ฌ ํต์ฌ ์ ๋ณด๋ฅผ ์ถ์ถํ์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ด๋ฅผ ๋ฐํ์ผ๋ก ๋์ด๋๊ฐ ๋ค๋ฅธ ๋ค์ง์ ๋คํ ๋ฌธ์ ๋ฅผ LLM์ ํ์ฉํ์ฌ ์๋ ์์ฑํ์ต๋๋ค. ๋ค์ํ LLM ๋ชจ๋ธ์ ์ด์ฉํด ์ด ๋ฌธ์ ๋ค์ ํ๊ฒ ํ ํ, ์ ๋ต๋ฅ ์ ์ธก์ ํ์ฌ ๋ชจ๋ธ์ ์ฑ๋ฅ์ ํ๊ฐํ์ต๋๋ค.
๊ฒฐ๊ณผ๋ ์์๋๋ก์์ต๋๋ค. ํ์ฌ์ LLM ๊ธฐ์ ๋ก๋ ํญ๊ณต์ฐ์ฃผ ๋ถ์ผ์ ์ ๋ฌธ ์ง์์ ์ ํํ๊ฒ ์ฒ๋ฆฌํ๋ ๋ฐ ์ด๋ ค์์ด ์๋ค๋ ๊ฒ์ ํ์ธํ์ต๋๋ค. ์ฐ๊ตฌ์ง์ ์ด๋ฌํ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํ์ผ๋ก, ํญ๊ณต์ฐ์ฃผ ์ ์กฐ ๋ถ์ผ์์ LLM์ ์์ ํ๊ฒ ํ์ฉํ๊ธฐ ์ํด์๋ ์ฑ๋ฅ ํฅ์์ด ์๊ธํ๋ฉฐ, ์ด๋ฅผ ์ํ ์ถ๊ฐ์ ์ธ ์ฐ๊ตฌ๊ฐ ํ์ํ๋ค๊ณ ๊ฐ์กฐํ์ต๋๋ค. ์ด๋ ๋จ์ํ ๊ธฐ์ ์ ๋ฌธ์ ๋ฅผ ๋์ด, ์์ ๊ณผ ์ง๊ฒฐ๋๋ ์ค์ํ ๋ฌธ์ ์์ ์์ฌํฉ๋๋ค.
์ด ์ฐ๊ตฌ์ ์ฃผ์ ๋ด์ฉ:
- ์ ๋ฌธ ์ง์ ๊ธฐ๋ฐ ํ๊ฐ ๊ธฐ์ค ๊ฐ๋ฐ: ํญ๊ณต์ฐ์ฃผ ์ ์กฐ ๋ถ์ผ์ ํน์์ฑ์ ๊ณ ๋ คํ LLM ํ๊ฐ ๊ธฐ์ค ๋ง๋ จ
- LLM ๊ธฐ๋ฐ ๋ฌธ์ ์๋ ์์ฑ: ์ ๋ฌธ ์์ ๋ฐ ์ง์นจ ๋ถ์์ ํตํ ์ ๊ตํ ๋ค์ง์ ๋คํ ๋ฌธ์ ์์ฑ
- ๋ค์ํ LLM ๋ชจ๋ธ ํ๊ฐ: GPT-4, QWen ๋ฑ ๋ค์ํ LLM ๋ชจ๋ธ์ ์ ํ๋ ๋น๊ต ๋ถ์
- ์ฑ๋ฅ ํฅ์์ ์๊ธ์ฑ ๊ฐ์กฐ: ํญ๊ณต์ฐ์ฃผ ๋ถ์ผ LLM ํ์ฉ์ ์ํ ๊ธฐ์ ์ ๊ฐ์ ์ ํ์์ฑ ์ ๊ธฐ
ํฅํ ๊ณผ์ : LLM์ ํ๊ฐ ํ์์ ์ค์ด๊ณ , ํญ๊ณต์ฐ์ฃผ ๋ถ์ผ์ ์ ๋ฌธ ์ง์์ ์ ํํ๊ฒ ์ดํดํ๊ณ ์ฒ๋ฆฌํ ์ ์๋๋ก LLM ๊ธฐ์ ์ ๋ฐ์ ์ด ์ง์์ ์ผ๋ก ์ด๋ฃจ์ด์ ธ์ผ ํฉ๋๋ค. ๋ํ, ์์ ์ฑ ํ๋ณด๋ฅผ ์ํ ์๊ฒฉํ ๊ฒ์ฆ ์ ์ฐจ์ ์ค๋ฆฌ์ ๊ฐ์ด๋๋ผ์ธ ๋ง๋ จ์ด ์ค์ํฉ๋๋ค. ์ด๋ฅผ ํตํด AI ๊ธฐ์ ์ด ํญ๊ณต์ฐ์ฃผ ์ฐ์ ์ ๋ฐ์ ์ ๊ธฐ์ฌํ ์ ์๋๋ก ์ ์คํ ์ ๊ทผ์ด ํ์ํฉ๋๋ค. ์ด ์ฐ๊ตฌ๋ ๊ทธ๋ฌํ ๋ ธ๋ ฅ์ ์ํ ์ค์ํ ์ฒซ๊ฑธ์์ด ๋ ๊ฒ์ ๋๋ค.
Reference
[arxiv] LLM Evaluation Based on Aerospace Manufacturing Expertise: Automated Generation and Multi-Model Question Answering
Published: ย (Updated: )
Author: Beiming Liu, Zhizhuo Cui, Siteng Hu, Xiaohua Li, Haifeng Lin, Zhengxin Zhang
http://arxiv.org/abs/2501.17183v1