๐จOpenAI์ o3-mini, ์ธ๋ถ ์์ ์ฑ ํ ์คํธ ๊ฒฐ๊ณผ ๋ฐํ: ์จ๊ฒจ์ง ์ํ๊ณผ ์์ ํ AI ๋ฏธ๋๋ฅผ ์ํ ๊ณผ์
OpenAI์ o3-mini LLM์ ๋ํ ์ธ๋ถ ์์ ์ฑ ํ ์คํธ์์ 87๊ฑด์ ์์ ํ์ง ์์ ๋์์ด ๋ฐ๊ฒฌ๋์ด LLM์ ์์ ์ฑ์ ๋ํ ์ฐ๋ ค๊ฐ ์ ๊ธฐ๋จ. Mondragon University์ University of Seville ์ฐ๊ตฌ์ง์ ASTRAL ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ํ ์คํธ๋ฅผ ์งํํ์ผ๋ฉฐ, LLM ๋ฐฐํฌ ์ ์ฒ ์ ํ ์์ ์ฑ ํ ์คํธ์ ์ค์์ฑ์ ๊ฐ์กฐ.

OpenAI์ o3-mini, ์์์น ๋ชปํ ์ํ ์ ํธ ๊ฐ์ง!
์ต๊ทผ, ์ฐ๋ฆฌ์ ์ผ์ ๊น์์ด ์๋ฆฌ ์ก์ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ์์ ์ฑ ๋ฌธ์ ๊ฐ ์ฌ๊ฐํ ๋ ผ์๊ฑฐ๋ฆฌ๋ก ๋ ์ค๋ฅด๊ณ ์์ต๋๋ค. ๊ฐ์ธ ์ ๋ณด ์ ์ถ, ํธํฅ๋ ์ ๋ณด ํ์ฐ, ํ์ ์ ๋ณด ์ ํฌ ๋ฑ์ ์ํ์ด ์กด์ฌํ๊ธฐ ๋๋ฌธ์ ๋๋ค. ์ด๋ฌํ ์ํ์ ์ํํ๊ณ ์ฑ ์๊ฐ ์๋ LLM ๋ฐฐํฌ๋ฅผ ์ํด์๋ ์ฒ ์ ํ ์์ ์ฑ ํ ์คํธ๊ฐ ํ์์ ์ ๋๋ค.
์คํ์ธ Mondragon University์ University of Seville์ ์ฐ๊ตฌ์ง์ OpenAI์ ์๋ก์ด LLM์ธ o3-mini์ ๋ํ ์ธ๋ถ ์์ ์ฑ ํ ์คํธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ์ต๋๋ค. ์ด๋ค์ ์์ฒด ๊ฐ๋ฐํ ASTRAL์ด๋ผ๋ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ์ต์ ์ ์ํํ ํ ์คํธ ์ ๋ ฅ(ํ๋กฌํํธ)์ ์๋์ผ๋ก ์์ฑ, ์ด 10,080๊ฐ์ ํ ์คํธ๋ฅผ ์งํํ์ต๋๋ค. ์ด๋ o3-mini์ ์ด๊ธฐ ๋ฒ ํ ๋ฒ์ ์ ๋์์ผ๋ก ์ด๋ฃจ์ด์ก์ต๋๋ค.
๋๋๊ฒ๋, ASTRAL์ด ์ํํ๋ค๊ณ ๋ถ๋ฅํ ํ ์คํธ ์ฌ๋ก ์ค ์๋ ๊ฒ์ฆ ๊ฒฐ๊ณผ 87๊ฑด์ ์ค์ ์์ ํ์ง ์์ LLM ๋์์ด ํ์ธ๋์์ต๋๋ค. ์ด๋ LLM์ ์์ ์ฑ์ ๋ํ ์ฐ๋ ค๋ฅผ ๋์ฑ ์ฌํ์ํค๋ ๊ฒฐ๊ณผ์ ๋๋ค. ์ด๋ฒ ์ฐ๊ตฌ๋ LLM ๋ฐฐํฌ ์ ์ฒ ์ ํ ์์ ์ฑ ํ๊ฐ์ ์ค์์ฑ์ ๋ค์ ํ๋ฒ ์ผ๊นจ์์ค๋๋ค.
ASTRAL: AI ์์ ์ฑ ํ ์คํธ์ ํ์ ?
ASTRAL์ ์๋ํ๋ ํ ์คํธ ์์คํ ์ผ๋ก, ๋ค์ํ ์์ ์ฑ ๋ฒ์ฃผ์ ๋ํ ํ ์คํธ๋ฅผ ์ฒด๊ณ์ ์ผ๋ก ์ํํ ์ ์๋ค๋ ์ ์์ ์ฃผ๋ชฉํ ๋งํฉ๋๋ค. ํ์ง๋ง ์ด๋ฒ ์ฐ๊ตฌ ๊ฒฐ๊ณผ๋ ASTRAL์ ํตํด ๋ฐ๊ฒฌ๋ ๋ฌธ์ ์ ๋งํผ, ์ฌ์ ํ ๊ฐ์ ์ ์ฌ์ง๊ฐ ๋จ์์์์ ์์ฌํฉ๋๋ค. ํฅํ ๋์ฑ ๊ฐ๋ ฅํ๊ณ ์ ๊ตํ ์์ ์ฑ ํ๊ฐ ์์คํ ๊ฐ๋ฐ์ด ์ ์คํด ๋ณด์ ๋๋ค.
์์ ํ AI ๋ฏธ๋๋ฅผ ์ํ ๊ณ ๋ฏผ
์ด๋ฒ ์ฐ๊ตฌ๋ LLM์ ์์ ์ฑ ํ๋ณด๋ฅผ ์ํ ์ง์์ ์ธ ๋ ธ๋ ฅ๊ณผ ํฌ์์ ํ์์ฑ์ ๊ฐ์กฐํฉ๋๋ค. ๋จ์ํ ๊ธฐ์ ์ ๋ฐ์ ๋ง์ด ์๋๋ผ, ์ค๋ฆฌ์ ๊ณ ๋ ค์ ์ฌํ์ ์ฑ ์์ด ํจ๊ปํ๋ AI ๊ฐ๋ฐ ๋ฐฉํฅ์ด ์ค์ํฉ๋๋ค. ํฅํ AI ๊ธฐ์ ์ ๋ฐ์ ๊ณผ ํจ๊ป, ์์ ์ฑ ํ ์คํธ ๋ฐ ํ๊ฐ ๊ธฐ์ค์ ๋ํ ๊ตญ์ ์ ์ธ ํ๋ ฅ ๋ฐ ํ์คํ ๋ํ ์๊ธํ ๊ณผ์ ๋ก ๋ ์ค๋ฅด๊ณ ์์ต๋๋ค. o3-mini์ ๊ฒฝ์ฐ๋ ์ด๊ธฐ ๋จ๊ณ์ ํ ์คํธ ๊ฒฐ๊ณผ์ด๊ธฐ์, ํฅํ OpenAI์ ์์ ์ฑ ๊ฐ์ ๋ ธ๋ ฅ๊ณผ ์ง์์ ์ธ ๋ชจ๋ํฐ๋ง์ด ์ค์ํฉ๋๋ค. ์ฐ๋ฆฌ๋ ์์ ํ๊ณ ์ฑ ์๊ฐ ์๋ AI ์๋๋ฅผ ํฅํด ๋์๊ฐ์ผ ํฉ๋๋ค. ์ด๋ฅผ ์ํด์๋ ์ง์์ ์ธ ์ฐ๊ตฌ์ ํฌ์, ๊ทธ๋ฆฌ๊ณ ๊ตญ์ ์ ์ธ ํ๋ ฅ์ด ํ์์ ์ ๋๋ค.
Reference
[arxiv] Early External Safety Testing of OpenAI's o3-mini: Insights from the Pre-Deployment Evaluation
Published: ย (Updated: )
Author: Aitor Arrieta, Miriam Ugarte, Pablo Valle, Josรฉ Antonio Parejo, Sergio Segura
http://arxiv.org/abs/2501.17749v1