๐ŸšจOpenAI์˜ o3-mini, ์™ธ๋ถ€ ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ ๋ฐœํ‘œ: ์ˆจ๊ฒจ์ง„ ์œ„ํ—˜๊ณผ ์•ˆ์ „ํ•œ AI ๋ฏธ๋ž˜๋ฅผ ์œ„ํ•œ ๊ณผ์ œ


OpenAI์˜ o3-mini LLM์— ๋Œ€ํ•œ ์™ธ๋ถ€ ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ์—์„œ 87๊ฑด์˜ ์•ˆ์ „ํ•˜์ง€ ์•Š์€ ๋™์ž‘์ด ๋ฐœ๊ฒฌ๋˜์–ด LLM์˜ ์•ˆ์ „์„ฑ์— ๋Œ€ํ•œ ์šฐ๋ ค๊ฐ€ ์ œ๊ธฐ๋จ. Mondragon University์™€ University of Seville ์—ฐ๊ตฌ์ง„์€ ASTRAL ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ–ˆ์œผ๋ฉฐ, LLM ๋ฐฐํฌ ์ „ ์ฒ ์ €ํ•œ ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ์˜ ์ค‘์š”์„ฑ์„ ๊ฐ•์กฐ.

related iamge

OpenAI์˜ o3-mini, ์˜ˆ์ƒ์น˜ ๋ชปํ•œ ์œ„ํ—˜ ์‹ ํ˜ธ ๊ฐ์ง€!

์ตœ๊ทผ, ์šฐ๋ฆฌ์˜ ์ผ์ƒ ๊นŠ์ˆ™์ด ์ž๋ฆฌ ์žก์€ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ์•ˆ์ „์„ฑ ๋ฌธ์ œ๊ฐ€ ์‹ฌ๊ฐํ•œ ๋…ผ์Ÿ๊ฑฐ๋ฆฌ๋กœ ๋– ์˜ค๋ฅด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐœ์ธ ์ •๋ณด ์œ ์ถœ, ํŽธํ–ฅ๋œ ์ •๋ณด ํ™•์‚ฐ, ํ—ˆ์œ„ ์ •๋ณด ์œ ํฌ ๋“ฑ์˜ ์œ„ํ—˜์ด ์กด์žฌํ•˜๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์œ„ํ—˜์„ ์™„ํ™”ํ•˜๊ณ  ์ฑ…์ž„๊ฐ ์žˆ๋Š” LLM ๋ฐฐํฌ๋ฅผ ์œ„ํ•ด์„œ๋Š” ์ฒ ์ €ํ•œ ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ๊ฐ€ ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.

์ŠคํŽ˜์ธ Mondragon University์™€ University of Seville์˜ ์—ฐ๊ตฌ์ง„์€ OpenAI์˜ ์ƒˆ๋กœ์šด LLM์ธ o3-mini์— ๋Œ€ํ•œ ์™ธ๋ถ€ ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐœํ‘œํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋“ค์€ ์ž์ฒด ๊ฐœ๋ฐœํ•œ ASTRAL์ด๋ผ๋Š” ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ตœ์‹ ์˜ ์œ„ํ—˜ํ•œ ํ…Œ์ŠคํŠธ ์ž…๋ ฅ(ํ”„๋กฌํ”„ํŠธ)์„ ์ž๋™์œผ๋กœ ์ƒ์„ฑ, ์ด 10,080๊ฐœ์˜ ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” o3-mini์˜ ์ดˆ๊ธฐ ๋ฒ ํƒ€ ๋ฒ„์ „์„ ๋Œ€์ƒ์œผ๋กœ ์ด๋ฃจ์–ด์กŒ์Šต๋‹ˆ๋‹ค.

๋†€๋ž๊ฒŒ๋„, ASTRAL์ด ์œ„ํ—˜ํ•˜๋‹ค๊ณ  ๋ถ„๋ฅ˜ํ•œ ํ…Œ์ŠคํŠธ ์‚ฌ๋ก€ ์ค‘ ์ˆ˜๋™ ๊ฒ€์ฆ ๊ฒฐ๊ณผ 87๊ฑด์˜ ์‹ค์ œ ์•ˆ์ „ํ•˜์ง€ ์•Š์€ LLM ๋™์ž‘์ด ํ™•์ธ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” LLM์˜ ์•ˆ์ „์„ฑ์— ๋Œ€ํ•œ ์šฐ๋ ค๋ฅผ ๋”์šฑ ์‹ฌํ™”์‹œํ‚ค๋Š” ๊ฒฐ๊ณผ์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ ์—ฐ๊ตฌ๋Š” LLM ๋ฐฐํฌ ์ „ ์ฒ ์ €ํ•œ ์•ˆ์ „์„ฑ ํ‰๊ฐ€์˜ ์ค‘์š”์„ฑ์„ ๋‹ค์‹œ ํ•œ๋ฒˆ ์ผ๊นจ์›Œ์ค๋‹ˆ๋‹ค.

ASTRAL: AI ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ์˜ ํ˜์‹ ?

ASTRAL์€ ์ž๋™ํ™”๋œ ํ…Œ์ŠคํŠธ ์‹œ์Šคํ…œ์œผ๋กœ, ๋‹ค์–‘ํ•œ ์•ˆ์ „์„ฑ ๋ฒ”์ฃผ์— ๋Œ€ํ•œ ํ…Œ์ŠคํŠธ๋ฅผ ์ฒด๊ณ„์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋‹ค๋Š” ์ ์—์„œ ์ฃผ๋ชฉํ•  ๋งŒํ•ฉ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด๋ฒˆ ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋Š” ASTRAL์„ ํ†ตํ•ด ๋ฐœ๊ฒฌ๋œ ๋ฌธ์ œ์ ๋งŒํผ, ์—ฌ์ „ํžˆ ๊ฐœ์„ ์˜ ์—ฌ์ง€๊ฐ€ ๋‚จ์•„์žˆ์Œ์„ ์‹œ์‚ฌํ•ฉ๋‹ˆ๋‹ค. ํ–ฅํ›„ ๋”์šฑ ๊ฐ•๋ ฅํ•˜๊ณ  ์ •๊ตํ•œ ์•ˆ์ „์„ฑ ํ‰๊ฐ€ ์‹œ์Šคํ…œ ๊ฐœ๋ฐœ์ด ์ ˆ์‹คํ•ด ๋ณด์ž…๋‹ˆ๋‹ค.

์•ˆ์ „ํ•œ AI ๋ฏธ๋ž˜๋ฅผ ์œ„ํ•œ ๊ณ ๋ฏผ

์ด๋ฒˆ ์—ฐ๊ตฌ๋Š” LLM์˜ ์•ˆ์ „์„ฑ ํ™•๋ณด๋ฅผ ์œ„ํ•œ ์ง€์†์ ์ธ ๋…ธ๋ ฅ๊ณผ ํˆฌ์ž์˜ ํ•„์š”์„ฑ์„ ๊ฐ•์กฐํ•ฉ๋‹ˆ๋‹ค. ๋‹จ์ˆœํžˆ ๊ธฐ์ˆ ์  ๋ฐœ์ „๋งŒ์ด ์•„๋‹ˆ๋ผ, ์œค๋ฆฌ์  ๊ณ ๋ ค์™€ ์‚ฌํšŒ์  ์ฑ…์ž„์ด ํ•จ๊ป˜ํ•˜๋Š” AI ๊ฐœ๋ฐœ ๋ฐฉํ–ฅ์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ํ–ฅํ›„ AI ๊ธฐ์ˆ ์˜ ๋ฐœ์ „๊ณผ ํ•จ๊ป˜, ์•ˆ์ „์„ฑ ํ…Œ์ŠคํŠธ ๋ฐ ํ‰๊ฐ€ ๊ธฐ์ค€์— ๋Œ€ํ•œ ๊ตญ์ œ์ ์ธ ํ˜‘๋ ฅ ๋ฐ ํ‘œ์ค€ํ™” ๋˜ํ•œ ์‹œ๊ธ‰ํ•œ ๊ณผ์ œ๋กœ ๋– ์˜ค๋ฅด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. o3-mini์˜ ๊ฒฝ์šฐ๋Š” ์ดˆ๊ธฐ ๋‹จ๊ณ„์˜ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ์ด๊ธฐ์—, ํ–ฅํ›„ OpenAI์˜ ์•ˆ์ „์„ฑ ๊ฐœ์„  ๋…ธ๋ ฅ๊ณผ ์ง€์†์ ์ธ ๋ชจ๋‹ˆํ„ฐ๋ง์ด ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ์•ˆ์ „ํ•˜๊ณ  ์ฑ…์ž„๊ฐ ์žˆ๋Š” AI ์‹œ๋Œ€๋ฅผ ํ–ฅํ•ด ๋‚˜์•„๊ฐ€์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋ฅผ ์œ„ํ•ด์„œ๋Š” ์ง€์†์ ์ธ ์—ฐ๊ตฌ์™€ ํˆฌ์ž, ๊ทธ๋ฆฌ๊ณ  ๊ตญ์ œ์ ์ธ ํ˜‘๋ ฅ์ด ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค.


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] Early External Safety Testing of OpenAI's o3-mini: Insights from the Pre-Deployment Evaluation

Published: ย (Updated: )

Author: Aitor Arrieta, Miriam Ugarte, Pablo Valle, Josรฉ Antonio Parejo, Sergio Segura

http://arxiv.org/abs/2501.17749v1