๐คฏ ํ๋ก์ ํธ ํ
์คํธ, ์ด์ AI๊ฐ ์๋์ผ๋ก! LLM ์์ด์ ํธ ExecutionAgent ๋ฑ์ฅ!
Islem Bouzenia์ Michael Pradel์ด ๊ฐ๋ฐํ LLM ๊ธฐ๋ฐ ํ ์คํธ ์๋ํ ์์ด์ ํธ ExecutionAgent๋ ๋ค์ํ ํ๋ก์ ํธ์ ํ ์คํธ๋ฅผ ์๋์ผ๋ก ์คํํ๊ณ , ๊ธฐ์กด ๊ธฐ์ ๋๋น 6.6๋ฐฐ ํฅ์๋ ์ฑ๋ฅ๊ณผ ๋์ ์ ํ๋๋ฅผ ๋ณด์ฌ์ค๋๋ค. ๊ฐ๋ฐ ํจ์จ ์ฆ๋์ ํ ์คํธ ์๋ํ์ ์๋ก์ด ๊ธฐ์ค์ ์ ์ํ๋ ํ์ ์ ์ธ ๊ธฐ์ ์ ๋๋ค.

ํ๋ก์ ํธ ํ
์คํธ์ ํ๋ช
: AI ์์ด์ ํธ ExecutionAgent
์ํํธ์จ์ด ๊ฐ๋ฐ์์ ํ
์คํธ๋ ํ์์ ์
๋๋ค. ํ์ง๋ง ๊ฐ ํ๋ก์ ํธ๋ง๋ค ๋ค๋ฅธ ์ธ์ด, ๋น๋ ์์คํ
, ํ
์คํธ ํ๋ ์์ํฌ๋ฅผ ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์ ํ
์คํธ ์๋ํ๋ ์ฝ์ง ์์์ต๋๋ค. Islem Bouzenia์ Michael Pradel์ด ๊ฐ๋ฐํ ExecutionAgent๋ ์ด ๋ฌธ์ ์ ๋ํ ํ๊ธฐ์ ์ธ ํด๊ฒฐ์ฑ
์ ์ ์ํฉ๋๋ค.
ExecutionAgent๋ LLM(๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ) ๊ธฐ๋ฐ์ ์๋ํ ์์ด์ ํธ๋ก, ์์์ ํ๋ก์ ํธ๋ฅผ ์ค์นํ๊ณ ํ
์คํธ๋ฅผ ์คํํ๋ฉฐ, ์ค์ ๊ณผ์ ์ ์ฌํํ๋ ์คํฌ๋ฆฝํธ๋ฅผ ์์ฑํฉ๋๋ค. ๋ง์น ์๋ จ๋ ๊ฐ๋ฐ์๊ฐ ์ง์ ์์
ํ๋ ๊ฒ์ฒ๋ผ ๋ง์ด์ฃ ! ํต์ฌ์ ๋ฉํ ํ๋กฌํํ
์ ํ์ฉํ์ฌ ์ต์ ๊ธฐ์ ๋ํฅ์ ํ์
ํ๊ณ , ์ด์ ๋จ๊ณ์ ํผ๋๋ฐฑ์ ํตํด ํ๋ก์ธ์ค๋ฅผ ์ง์์ ์ผ๋ก ๊ฐ์ ํ๋ ๋ฐ ์์ต๋๋ค. ๐ค
50๊ฐ์ ์คํ์์ค ํ๋ก์ ํธ(14๊ฐ์ง ์ธ์ด, ๋ค์ํ ๋น๋ ๋ฐ ํ
์คํธ ๋๊ตฌ ์ฌ์ฉ) ๋ฅผ ๋์์ผ๋ก ํ ํ๊ฐ ๊ฒฐ๊ณผ๋ ๋๋์ต๋๋ค. ExecutionAgent๋ 55๊ฐ ์ค 33๊ฐ ํ๋ก์ ํธ์ ํ
์คํธ๋ฅผ ์ฑ๊ณต์ ์ผ๋ก ์คํํ๊ณ , ๊ธฐ์กด ์ต๊ณ ๊ธฐ์ ๋๋น 6.6๋ฐฐ ํฅ์๋ ์ฑ๋ฅ์ ๋ณด์์ต๋๋ค! ์ ํ๋ ๋ํ ๋ฐ์ด๋, ์ค์ ํ
์คํธ ๊ฒฐ๊ณผ์์ ์ค์ฐจ๋ ๋จ **7.5%**์ ๋ถ๊ณผํ์ต๋๋ค. ๊ฒ๋ค๊ฐ ํ๋ก์ ํธ๋น ํ๊ท 74๋ถ์ ์คํ ์๊ฐ๊ณผ 0.16๋ฌ๋ฌ์ LLM ๋น์ฉ์ ๊ฒฝ์ ์ ์ธ ํจ์จ์ฑ๊น์ง ์
์ฆํฉ๋๋ค. ๐ค
ExecutionAgent์ ์์ฌ์ :
- ๊ฐ๋ฐ ํจ์จ ๊ทน๋ํ: ๊ฐ๋ฐ์๋ ๋ฐ๋ณต์ ์ธ ํ ์คํธ ์คํ ์์ ์์ ํด๋ฐฉ๋์ด ๋์ฑ ์ค์ํ ์ ๋ฌด์ ์ง์คํ ์ ์์ต๋๋ค.
- ํ ์คํธ ์๋ํ์ ์๋ก์ด ๊ธฐ์ค: ๋ค์ํ ํ๋ก์ ํธ์ ํ๊ฒฝ์์ ์์ ์ ์ผ๋ก ๋์ํ๋ ๋ฒ์ฉ์ ์ธ ํ ์คํธ ์คํ ๋ฐฉ๋ฒ์ ์ ๊ณตํฉ๋๋ค.
- LLM์ ์ ์ฌ๋ ฅ ํ์ธ: LLM ๊ธฐ๋ฐ ์๋ํ ๊ธฐ์ ์ ์ค์ฉ์ฑ๊ณผ ํจ์จ์ฑ์ ๋ณด์ฌ์ฃผ๋ ์ค์ํ ์ฌ๋ก์ ๋๋ค.
ExecutionAgent๋ ๊ฐ๋ฐ์, ์๋ํ ํ๋ก๊ทธ๋๋ฐ ๋๊ตฌ, ๊ทธ๋ฆฌ๊ณ ์ฐ๊ตฌ์๋ค์๊ฒ ์ ์ฉํ ๋๊ตฌ๊ฐ ๋ ๊ฒ์ผ๋ก ๊ธฐ๋๋ฉ๋๋ค. ์์ผ๋ก ๋์ฑ ๋ฐ์ ๋ AI ๊ธฐ๋ฐ ํ
์คํธ ์๋ํ ๊ธฐ์ ์ ๋ฑ์ฅ์ด ๊ธฐ๋๋๋ ๋๋ชฉ์
๋๋ค. โจ
Reference
[arxiv] You Name It, I Run It: An LLM Agent to Execute Tests of Arbitrary Projects
Published: ย (Updated: )
Author: Islem Bouzenia, Michael Pradel
http://arxiv.org/abs/2412.10133v1