🚨LLM이 λ§Œλ“  μ½”λ“œ, λƒ„μƒˆλ‚˜μ§€ μ•Šμ„κΉŒμš”? μ½”λ“œ λƒ„μƒˆ 벀치마크 μ—°κ΅¬μ˜ λ†€λΌμš΄ κ²°κ³Ό 🚨


λ³Έ μ—°κ΅¬λŠ” LLM의 μ½”λ“œ 생성 λŠ₯λ ₯ 평가에 μžˆμ–΄ μ½”λ“œ λƒ„μƒˆ(Code Smell)λ₯Ό κ³ λ €ν•œ μƒˆλ‘œμš΄ 벀치마크 CodeSmellEval을 μ œμ‹œν•˜κ³ , μ΅œμ²¨λ‹¨ LLM듀이 μ½”λ“œ λƒ„μƒˆλ₯Ό μƒμ„±ν•˜λŠ” κ²½ν–₯이 μžˆμŒμ„ 밝힘으둜써 LLM의 μ½”λ“œ ν’ˆμ§ˆ ν–₯상에 λŒ€ν•œ μ€‘μš”ν•œ μ‹œμ‚¬μ μ„ μ œκ³΅ν•©λ‹ˆλ‹€.

related iamge

LLM의 그림자: μ½”λ“œ λƒ„μƒˆμ˜ μœ„ν—˜μ„±

졜근 λˆˆλΆ€μ‹  λ°œμ „μ„ κ±°λ“­ν•˜κ³  μžˆλŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)은 μ†Œν”„νŠΈμ›¨μ–΄ 개발 λΆ„μ•Όμ—μ„œ μ½”λ“œ 생성 μžλ™ν™”μ— ν˜μ‹ μ μΈ κ°€λŠ₯성을 μ œμ‹œν•˜κ³  μžˆμŠ΅λ‹ˆλ‹€. ν•˜μ§€λ§Œ, 기쑴의 LLM ν‰κ°€λŠ” 주둜 μ½”λ“œμ˜ 정확성에 μ΄ˆμ μ„ λ§žμΆ°μ™”μŠ΅λ‹ˆλ‹€. μ •ν™•μ„±λ§ŒμœΌλ‘œλŠ” λΆ€μ‘±ν•©λ‹ˆλ‹€. κ³Όμ—° LLM이 μƒμ„±ν•œ μ½”λ“œλŠ” μ‹€μ œ ν˜„μž₯μ—μ„œ μ•ˆμ „ν•˜κ³  효율적으둜 μž‘λ™ν• κΉŒμš”?

Alejandro Velasco λ“± 연ꡬ진이 λ°œν‘œν•œ λ…Όλ¬Έ "How Propense Are Large Language Models at Producing Code Smells? A Benchmarking Study"λŠ” λ°”λ‘œ 이 μ§ˆλ¬Έμ— λŒ€ν•œ 닡을 μ°ΎκΈ° μœ„ν•œ μ€‘μš”ν•œ μ‹œλ„μž…λ‹ˆλ‹€. 연ꡬ진은 LLM이 μƒμ„±ν•˜λŠ” μ½”λ“œμ˜ 'ν’ˆμ§ˆ'에 λŒ€ν•œ μƒˆλ‘œμš΄ 평가 기쀀을 μ œμ‹œν•˜λ©°, κ·Έ 쀑심에 'μ½”λ“œ λƒ„μƒˆ(Code Smell)'κ°€ μžˆμŠ΅λ‹ˆλ‹€. μ½”λ“œ λƒ„μƒˆλž€ μ½”λ“œμ˜ ꡬ쑰적 κ²°ν•¨μ΄λ‚˜ λΉ„νš¨μœ¨μ μΈ 섀계λ₯Ό λ‚˜νƒ€λ‚΄λŠ” μ§•ν›„λ‘œ, μž₯기적으둜 μœ μ§€λ³΄μˆ˜ 및 ν™•μž₯에 어렀움을 μ΄ˆλž˜ν•  수 μžˆλŠ” μ‹¬κ°ν•œ λ¬Έμ œμž…λ‹ˆλ‹€.

CodeSmellEval: μ½”λ“œ λƒ„μƒˆ νƒμ§€μ˜ μƒˆλ‘œμš΄ 지평

연ꡬ진은 LLM의 μ½”λ“œ λƒ„μƒˆ λ°œμƒ κ²½ν–₯성을 ν‰κ°€ν•˜κΈ° μœ„ν•œ μƒˆλ‘œμš΄ 벀치마크, CodeSmellEval을 κ°œλ°œν–ˆμŠ΅λ‹ˆλ‹€. CodeSmellEval은 λ‹¨μˆœν•œ 정확도 츑정을 λ„˜μ–΄, 'Propensity Smelly Score (PSC)'λΌλŠ” 독창적인 μ§€ν‘œλ₯Ό λ„μž…ν•˜μ—¬ LLM이 μ–Όλ§ˆλ‚˜ 자주, μ–΄λ–€ μ’…λ₯˜μ˜ μ½”λ“œ λƒ„μƒˆλ₯Ό μƒμ„±ν•˜λŠ”μ§€ μ •λŸ‰μ μœΌλ‘œ ν‰κ°€ν•©λ‹ˆλ‹€. λ˜ν•œ, λ©”μ†Œλ“œ μˆ˜μ€€μ˜ μ½”λ“œ λƒ„μƒˆ 데이터셋인 CodeSmellDataλ₯Ό κ΅¬μΆ•ν•˜μ—¬ 벀치마크의 신뒰성을 λ†’μ˜€μŠ΅λ‹ˆλ‹€.

CodeLlama와 Mistral, μ½”λ“œ λƒ„μƒˆ κ²€μ¦μ˜ μ£Όμ—­

CodeSmellEval의 μ‹€νš¨μ„±μ„ κ²€μ¦ν•˜κΈ° μœ„ν•΄, 연ꡬ진은 CodeLlama와 Mistralμ΄λΌλŠ” 두 개의 μ΅œμ²¨λ‹¨ LLM을 λŒ€μƒμœΌλ‘œ μ‹€ν—˜μ„ μ§„ν–‰ν–ˆμŠ΅λ‹ˆλ‹€. κ·Έ κ²°κ³ΌλŠ” μΆ©κ²©μ μ΄μ—ˆμŠ΅λ‹ˆλ‹€. 두 λͺ¨λΈ λͺ¨λ‘ 'simplifiable-condition' (λ‹¨μˆœν™” κ°€λŠ₯ν•œ 쑰건문) 및 'consider-merging-isinstance' (isinstance ν•¨μˆ˜ 톡합 κ³ λ €) 와 같은 μ½”λ“œ λƒ„μƒˆλ₯Ό μƒμ„±ν•˜λŠ” κ²½ν–₯이 ν™•μΈλœ κ²ƒμž…λ‹ˆλ‹€. μ΄λŠ” LLM이 μ½”λ“œ 생성 λŠ₯λ ₯이 λ›°μ–΄λ‚˜λ”λΌλ„, μ½”λ“œ ν’ˆμ§ˆ μΈ‘λ©΄μ—μ„œλŠ” μ—¬μ „νžˆ κ°œμ„ μ˜ μ—¬μ§€κ°€ λ§ŽμŒμ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.

미래λ₯Ό μœ„ν•œ μ„±μ°°: 더 λ‚˜μ€ μ½”λ“œ, 더 λ‚˜μ€ LLM

이번 μ—°κ΅¬λŠ” LLM의 μ½”λ“œ 생성 λŠ₯λ ₯에 λŒ€ν•œ 기쑴의 낙관적인 μ‹œκ°μ— 경쒅을 μšΈλ¦¬λŠ” λ™μ‹œμ—, 더 λ‚˜μ€ LLM κ°œλ°œμ„ μœ„ν•œ μ€‘μš”ν•œ λ°©ν–₯을 μ œμ‹œν•©λ‹ˆλ‹€. λ‹¨μˆœν•œ 정확성뿐 μ•„λ‹ˆλΌ μ½”λ“œμ˜ ν’ˆμ§ˆ, 특히 μ½”λ“œ λƒ„μƒˆ λ°œμƒ κ°€λŠ₯μ„±κΉŒμ§€ κ³ λ €ν•΄μ•Ό ν•œλ‹€λŠ” 점을 λͺ…ν™•νžˆ 보여주고 μžˆμŠ΅λ‹ˆλ‹€. μ•žμœΌλ‘œ LLM이 μ†Œν”„νŠΈμ›¨μ–΄ 개발의 핡심 λ„κ΅¬λ‘œ μžλ¦¬λ§€κΉ€ν•˜κΈ° μœ„ν•΄μ„œλŠ”, CodeSmellEvalκ³Ό 같은 μ—„κ²©ν•œ ν’ˆμ§ˆ 평가 κΈ°μ€€κ³Ό 지속적인 κ°œμ„  λ…Έλ ₯이 ν•„μˆ˜μ μž…λ‹ˆλ‹€. LLM의 잠재λ ₯을 μΆ©λΆ„νžˆ ν™œμš©ν•˜κΈ° μœ„ν•΄μ„œλŠ” 'μ •ν™•μ„±'κ³Ό 'ν’ˆμ§ˆ'μ΄λΌλŠ” 두 마리 토끼λ₯Ό λͺ¨λ‘ μž‘μ•„μ•Ό ν•©λ‹ˆλ‹€.


*이 κΈ°μ‚¬λŠ” AIκ°€ μƒμ„±ν•œ λ‚΄μš©μœΌλ‘œ, 일뢀 정보가 μ‹€μ œμ™€ λ‹€λ₯Ό 수 μžˆμŠ΅λ‹ˆλ‹€. μ •ν™•ν•œ 확인을 μœ„ν•΄ 좔가적인 검증을 ꢌμž₯λ“œλ¦½λ‹ˆλ‹€.

Reference

[arxiv] How Propense Are Large Language Models at Producing Code Smells? A Benchmarking Study

Published: Β (Updated: )

Author: Alejandro Velasco, Daniel Rodriguez-Cardenas, David N. Palacio, Luftar Rahman Alif, Denys Poshyvanyk

http://arxiv.org/abs/2412.18989v1