π¨LLMμ΄ λ§λ μ½λ, λμλμ§ μμκΉμ? μ½λ λμ λ²€μΉλ§ν¬ μ°κ΅¬μ λλΌμ΄ κ²°κ³Ό π¨
λ³Έ μ°κ΅¬λ LLMμ μ½λ μμ± λ₯λ ₯ νκ°μ μμ΄ μ½λ λμ(Code Smell)λ₯Ό κ³ λ €ν μλ‘μ΄ λ²€μΉλ§ν¬ CodeSmellEvalμ μ μνκ³ , μ΅μ²¨λ¨ LLMλ€μ΄ μ½λ λμλ₯Ό μμ±νλ κ²½ν₯μ΄ μμμ λ°νμΌλ‘μ¨ LLMμ μ½λ νμ§ ν₯μμ λν μ€μν μμ¬μ μ μ 곡ν©λλ€.

LLMμ κ·Έλ¦Όμ: μ½λ λμμ μνμ±
μ΅κ·Ό λλΆμ λ°μ μ κ±°λνκ³ μλ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM)μ μννΈμ¨μ΄ κ°λ° λΆμΌμμ μ½λ μμ± μλνμ νμ μ μΈ κ°λ₯μ±μ μ μνκ³ μμ΅λλ€. νμ§λ§, κΈ°μ‘΄μ LLM νκ°λ μ£Όλ‘ μ½λμ μ νμ±μ μ΄μ μ λ§μΆ°μμ΅λλ€. μ νμ±λ§μΌλ‘λ λΆμ‘±ν©λλ€. κ³Όμ° LLMμ΄ μμ±ν μ½λλ μ€μ νμ₯μμ μμ νκ³ ν¨μ¨μ μΌλ‘ μλν κΉμ?
Alejandro Velasco λ± μ°κ΅¬μ§μ΄ λ°νν λ Όλ¬Έ "How Propense Are Large Language Models at Producing Code Smells? A Benchmarking Study"λ λ°λ‘ μ΄ μ§λ¬Έμ λν λ΅μ μ°ΎκΈ° μν μ€μν μλμ λλ€. μ°κ΅¬μ§μ LLMμ΄ μμ±νλ μ½λμ 'νμ§'μ λν μλ‘μ΄ νκ° κΈ°μ€μ μ μνλ©°, κ·Έ μ€μ¬μ 'μ½λ λμ(Code Smell)'κ° μμ΅λλ€. μ½λ λμλ μ½λμ ꡬ쑰μ κ²°ν¨μ΄λ λΉν¨μ¨μ μΈ μ€κ³λ₯Ό λνλ΄λ μ§νλ‘, μ₯κΈ°μ μΌλ‘ μ μ§λ³΄μ λ° νμ₯μ μ΄λ €μμ μ΄λν μ μλ μ¬κ°ν λ¬Έμ μ λλ€.
CodeSmellEval: μ½λ λμ νμ§μ μλ‘μ΄ μ§ν
μ°κ΅¬μ§μ LLMμ μ½λ λμ λ°μ κ²½ν₯μ±μ νκ°νκΈ° μν μλ‘μ΄ λ²€μΉλ§ν¬, CodeSmellEvalμ κ°λ°νμ΅λλ€. CodeSmellEvalμ λ¨μν μ νλ μΈ‘μ μ λμ΄, 'Propensity Smelly Score (PSC)'λΌλ λ μ°½μ μΈ μ§νλ₯Ό λμ νμ¬ LLMμ΄ μΌλ§λ μμ£Ό, μ΄λ€ μ’ λ₯μ μ½λ λμλ₯Ό μμ±νλμ§ μ λμ μΌλ‘ νκ°ν©λλ€. λν, λ©μλ μμ€μ μ½λ λμ λ°μ΄ν°μ μΈ CodeSmellDataλ₯Ό ꡬμΆνμ¬ λ²€μΉλ§ν¬μ μ λ’°μ±μ λμμ΅λλ€.
CodeLlamaμ Mistral, μ½λ λμ κ²μ¦μ μ£Όμ
CodeSmellEvalμ μ€ν¨μ±μ κ²μ¦νκΈ° μν΄, μ°κ΅¬μ§μ CodeLlamaμ Mistralμ΄λΌλ λ κ°μ μ΅μ²¨λ¨ LLMμ λμμΌλ‘ μ€νμ μ§ννμ΅λλ€. κ·Έ κ²°κ³Όλ 좩격μ μ΄μμ΅λλ€. λ λͺ¨λΈ λͺ¨λ 'simplifiable-condition' (λ¨μν κ°λ₯ν 쑰건문) λ° 'consider-merging-isinstance' (isinstance ν¨μ ν΅ν© κ³ λ €) μ κ°μ μ½λ λμλ₯Ό μμ±νλ κ²½ν₯μ΄ νμΈλ κ²μ λλ€. μ΄λ LLMμ΄ μ½λ μμ± λ₯λ ₯μ΄ λ°μ΄λλλΌλ, μ½λ νμ§ μΈ‘λ©΄μμλ μ¬μ ν κ°μ μ μ¬μ§κ° λ§μμ μμ¬ν©λλ€.
λ―Έλλ₯Ό μν μ±μ°°: λ λμ μ½λ, λ λμ LLM
μ΄λ² μ°κ΅¬λ LLMμ μ½λ μμ± λ₯λ ₯μ λν κΈ°μ‘΄μ λκ΄μ μΈ μκ°μ κ²½μ’ μ μΈλ¦¬λ λμμ, λ λμ LLM κ°λ°μ μν μ€μν λ°©ν₯μ μ μν©λλ€. λ¨μν μ νμ±λΏ μλλΌ μ½λμ νμ§, νΉν μ½λ λμ λ°μ κ°λ₯μ±κΉμ§ κ³ λ €ν΄μΌ νλ€λ μ μ λͺ νν 보μ¬μ£Όκ³ μμ΅λλ€. μμΌλ‘ LLMμ΄ μννΈμ¨μ΄ κ°λ°μ ν΅μ¬ λκ΅¬λ‘ μ리맀κΉνκΈ° μν΄μλ, CodeSmellEvalκ³Ό κ°μ μ격ν νμ§ νκ° κΈ°μ€κ³Ό μ§μμ μΈ κ°μ λ Έλ ₯μ΄ νμμ μ λλ€. LLMμ μ μ¬λ ₯μ μΆ©λΆν νμ©νκΈ° μν΄μλ 'μ νμ±'κ³Ό 'νμ§'μ΄λΌλ λ λ§λ¦¬ ν λΌλ₯Ό λͺ¨λ μ‘μμΌ ν©λλ€.
Reference
[arxiv] How Propense Are Large Language Models at Producing Code Smells? A Benchmarking Study
Published: Β (Updated: )
Author: Alejandro Velasco, Daniel Rodriguez-Cardenas, David N. Palacio, Luftar Rahman Alif, Denys Poshyvanyk
http://arxiv.org/abs/2412.18989v1