๐Ÿคฏ ํ”„๋กœ์ ํŠธ ํ…Œ์ŠคํŠธ, ์ด์ œ AI๊ฐ€ ์ž๋™์œผ๋กœ! LLM ์—์ด์ „ํŠธ ExecutionAgent ๋“ฑ์žฅ!


Islem Bouzenia์™€ Michael Pradel์ด ๊ฐœ๋ฐœํ•œ LLM ๊ธฐ๋ฐ˜ ํ…Œ์ŠคํŠธ ์ž๋™ํ™” ์—์ด์ „ํŠธ ExecutionAgent๋Š” ๋‹ค์–‘ํ•œ ํ”„๋กœ์ ํŠธ์˜ ํ…Œ์ŠคํŠธ๋ฅผ ์ž๋™์œผ๋กœ ์‹คํ–‰ํ•˜๊ณ , ๊ธฐ์กด ๊ธฐ์ˆ  ๋Œ€๋น„ 6.6๋ฐฐ ํ–ฅ์ƒ๋œ ์„ฑ๋Šฅ๊ณผ ๋†’์€ ์ •ํ™•๋„๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ๊ฐœ๋ฐœ ํšจ์œจ ์ฆ๋Œ€์™€ ํ…Œ์ŠคํŠธ ์ž๋™ํ™”์˜ ์ƒˆ๋กœ์šด ๊ธฐ์ค€์„ ์ œ์‹œํ•˜๋Š” ํ˜์‹ ์ ์ธ ๊ธฐ์ˆ ์ž…๋‹ˆ๋‹ค.

related iamge

ํ”„๋กœ์ ํŠธ ํ…Œ์ŠคํŠธ์˜ ํ˜๋ช…: AI ์—์ด์ „ํŠธ ExecutionAgent

์†Œํ”„ํŠธ์›จ์–ด ๊ฐœ๋ฐœ์—์„œ ํ…Œ์ŠคํŠธ๋Š” ํ•„์ˆ˜์ ์ž…๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ๊ฐ ํ”„๋กœ์ ํŠธ๋งˆ๋‹ค ๋‹ค๋ฅธ ์–ธ์–ด, ๋นŒ๋“œ ์‹œ์Šคํ…œ, ํ…Œ์ŠคํŠธ ํ”„๋ ˆ์ž„์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜๊ธฐ ๋•Œ๋ฌธ์— ํ…Œ์ŠคํŠธ ์ž๋™ํ™”๋Š” ์‰ฝ์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค. Islem Bouzenia์™€ Michael Pradel์ด ๊ฐœ๋ฐœํ•œ ExecutionAgent๋Š” ์ด ๋ฌธ์ œ์— ๋Œ€ํ•œ ํš๊ธฐ์ ์ธ ํ•ด๊ฒฐ์ฑ…์„ ์ œ์‹œํ•ฉ๋‹ˆ๋‹ค.

ExecutionAgent๋Š” LLM(๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ) ๊ธฐ๋ฐ˜์˜ ์ž๋™ํ™” ์—์ด์ „ํŠธ๋กœ, ์ž„์˜์˜ ํ”„๋กœ์ ํŠธ๋ฅผ ์„ค์น˜ํ•˜๊ณ  ํ…Œ์ŠคํŠธ๋ฅผ ์‹คํ–‰ํ•˜๋ฉฐ, ์„ค์ • ๊ณผ์ •์„ ์žฌํ˜„ํ•˜๋Š” ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค. ๋งˆ์น˜ ์ˆ™๋ จ๋œ ๊ฐœ๋ฐœ์ž๊ฐ€ ์ง์ ‘ ์ž‘์—…ํ•˜๋Š” ๊ฒƒ์ฒ˜๋Ÿผ ๋ง์ด์ฃ ! ํ•ต์‹ฌ์€ ๋ฉ”ํƒ€ ํ”„๋กฌํ”„ํŒ…์„ ํ™œ์šฉํ•˜์—ฌ ์ตœ์‹  ๊ธฐ์ˆ  ๋™ํ–ฅ์„ ํŒŒ์•…ํ•˜๊ณ , ์ด์ „ ๋‹จ๊ณ„์˜ ํ”ผ๋“œ๋ฐฑ์„ ํ†ตํ•ด ํ”„๋กœ์„ธ์Šค๋ฅผ ์ง€์†์ ์œผ๋กœ ๊ฐœ์„ ํ•˜๋Š” ๋ฐ ์žˆ์Šต๋‹ˆ๋‹ค. ๐Ÿค”

50๊ฐœ์˜ ์˜คํ”ˆ์†Œ์Šค ํ”„๋กœ์ ํŠธ(14๊ฐ€์ง€ ์–ธ์–ด, ๋‹ค์–‘ํ•œ ๋นŒ๋“œ ๋ฐ ํ…Œ์ŠคํŠธ ๋„๊ตฌ ์‚ฌ์šฉ) ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•œ ํ‰๊ฐ€ ๊ฒฐ๊ณผ๋Š” ๋†€๋ž์Šต๋‹ˆ๋‹ค. ExecutionAgent๋Š” 55๊ฐœ ์ค‘ 33๊ฐœ ํ”„๋กœ์ ํŠธ์˜ ํ…Œ์ŠคํŠธ๋ฅผ ์„ฑ๊ณต์ ์œผ๋กœ ์‹คํ–‰ํ–ˆ๊ณ , ๊ธฐ์กด ์ตœ๊ณ  ๊ธฐ์ˆ  ๋Œ€๋น„ 6.6๋ฐฐ ํ–ฅ์ƒ๋œ ์„ฑ๋Šฅ์„ ๋ณด์˜€์Šต๋‹ˆ๋‹ค! ์ •ํ™•๋„ ๋˜ํ•œ ๋›ฐ์–ด๋‚˜, ์‹ค์ œ ํ…Œ์ŠคํŠธ ๊ฒฐ๊ณผ์™€์˜ ์˜ค์ฐจ๋Š” ๋‹จ **7.5%**์— ๋ถˆ๊ณผํ–ˆ์Šต๋‹ˆ๋‹ค. ๊ฒŒ๋‹ค๊ฐ€ ํ”„๋กœ์ ํŠธ๋‹น ํ‰๊ท  74๋ถ„์˜ ์‹คํ–‰ ์‹œ๊ฐ„๊ณผ 0.16๋‹ฌ๋Ÿฌ์˜ LLM ๋น„์šฉ์€ ๊ฒฝ์ œ์ ์ธ ํšจ์œจ์„ฑ๊นŒ์ง€ ์ž…์ฆํ•ฉ๋‹ˆ๋‹ค. ๐Ÿค‘

ExecutionAgent์˜ ์‹œ์‚ฌ์ :

  • ๊ฐœ๋ฐœ ํšจ์œจ ๊ทน๋Œ€ํ™”: ๊ฐœ๋ฐœ์ž๋Š” ๋ฐ˜๋ณต์ ์ธ ํ…Œ์ŠคํŠธ ์‹คํ–‰ ์ž‘์—…์—์„œ ํ•ด๋ฐฉ๋˜์–ด ๋”์šฑ ์ค‘์š”ํ•œ ์—…๋ฌด์— ์ง‘์ค‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ํ…Œ์ŠคํŠธ ์ž๋™ํ™”์˜ ์ƒˆ๋กœ์šด ๊ธฐ์ค€: ๋‹ค์–‘ํ•œ ํ”„๋กœ์ ํŠธ์™€ ํ™˜๊ฒฝ์—์„œ ์•ˆ์ •์ ์œผ๋กœ ๋™์ž‘ํ•˜๋Š” ๋ฒ”์šฉ์ ์ธ ํ…Œ์ŠคํŠธ ์‹คํ–‰ ๋ฐฉ๋ฒ•์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
  • LLM์˜ ์ž ์žฌ๋ ฅ ํ™•์ธ: LLM ๊ธฐ๋ฐ˜ ์ž๋™ํ™” ๊ธฐ์ˆ ์˜ ์‹ค์šฉ์„ฑ๊ณผ ํšจ์œจ์„ฑ์„ ๋ณด์—ฌ์ฃผ๋Š” ์ค‘์š”ํ•œ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.

ExecutionAgent๋Š” ๊ฐœ๋ฐœ์ž, ์ž๋™ํ™” ํ”„๋กœ๊ทธ๋ž˜๋ฐ ๋„๊ตฌ, ๊ทธ๋ฆฌ๊ณ  ์—ฐ๊ตฌ์ž๋“ค์—๊ฒŒ ์œ ์šฉํ•œ ๋„๊ตฌ๊ฐ€ ๋  ๊ฒƒ์œผ๋กœ ๊ธฐ๋Œ€๋ฉ๋‹ˆ๋‹ค. ์•ž์œผ๋กœ ๋”์šฑ ๋ฐœ์ „๋œ AI ๊ธฐ๋ฐ˜ ํ…Œ์ŠคํŠธ ์ž๋™ํ™” ๊ธฐ์ˆ ์˜ ๋“ฑ์žฅ์ด ๊ธฐ๋Œ€๋˜๋Š” ๋Œ€๋ชฉ์ž…๋‹ˆ๋‹ค. โœจ


*์ด ๊ธฐ์‚ฌ๋Š” AI๊ฐ€ ์ƒ์„ฑํ•œ ๋‚ด์šฉ์œผ๋กœ, ์ผ๋ถ€ ์ •๋ณด๊ฐ€ ์‹ค์ œ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ™•ํ•œ ํ™•์ธ์„ ์œ„ํ•ด ์ถ”๊ฐ€์ ์ธ ๊ฒ€์ฆ์„ ๊ถŒ์žฅ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

Reference

[arxiv] You Name It, I Run It: An LLM Agent to Execute Tests of Arbitrary Projects

Published: ย (Updated: )

Author: Islem Bouzenia, Michael Pradel

http://arxiv.org/abs/2412.10133v1