CellVerse: 거대 언어 모델이 세포 생물학을 정말 이해할까요?

CellVerse 벤치마크를 통해 평가된 14개의 LLM 성능 분석 결과, 세포 생물학 전문 모델의 한계와 일반 모델의 잠재력이 드러났으며, 향후 LLM의 세포 생물학 연구 적용을 위한 개선 방향이 제시되었습니다.

혁신적인 벤치마크, CellVerse 등장

중국과 싱가포르 연구진이 공동으로 진행한 연구에서, 세포 생물학 데이터를 자연어로 모델링하고 거대 언어 모델(LLM)을 활용하여 세포 생물학을 이해하는 새로운 시도가 발표되었습니다. 그 결과물이 바로 CellVerse 입니다. CellVerse는 4가지 유형의 단일 세포 멀티오믹스 데이터를 통합하고 세포 유형 주석(세포 수준), 약물 반응 예측(약물 수준), 섭동 분석(유전자 수준) 등 3가지 수준의 단일 세포 분석 과제를 포함하는 통합 언어 중심 질의응답 벤치마크입니다. 이는 단순히 LLM의 성능을 평가하는 것을 넘어, 세포 생물학 연구에 LLM을 적용하는 데 있어 혁신적인 전기를 마련한 것으로 평가받고 있습니다.

14개의 LLM, CellVerse에서 실력 검증

연구진은 1억 6천만개에서 6710억개 매개변수까지 다양한 14개의 오픈소스 및 클로즈드소스 LLM을 CellVerse를 통해 평가했습니다. 놀랍게도, 실험 결과는 다음과 같은 중요한 시사점을 제공합니다.

• 전문 모델의 한계: 기존의 세포 생물학 전문 모델(C2S-Pythia)은 CellVerse의 모든 하위 작업에서 합리적인 결정을 내리는 데 실패했습니다. 이는 전문화된 모델이 모든 세포 생물학적 질문에 효과적으로 대응하지 못한다는 것을 시사합니다.

• 일반 모델의 잠재력: Qwen, Llama, GPT, DeepSeek 계열과 같은 일반 모델은 세포 생물학 분야에서 초기 이해 능력을 보여주었습니다. 이는 일반 모델이 전문화된 모델보다 더 넓은 영역에 대한 지식을 갖고 있음을 보여줍니다.

• 개선의 여지: 현재 LLM의 성능은 기대에 미치지 못하며 상당한 개선의 여지가 있습니다. 특히 광범위하게 연구된 약물 반응 예측 작업에서 평가된 어떤 LLM도 무작위 추측보다 유의미한 성능 향상을 보여주지 못했습니다. 이는 세포 생물학에 대한 LLM의 적용이 아직 초기 단계에 있으며, 더 많은 연구가 필요함을 강조합니다.

CellVerse: 세포 생물학 연구의 새로운 장을 열다

CellVerse는 LLM을 세포 생물학에 적용하는 데 있어 여전히 상당한 어려움이 존재함을 보여주는 최초의 대규모 경험적 증거를 제시합니다. 하지만 동시에, 일반 모델의 잠재력을 확인하고 향후 개선 방향을 제시함으로써 세포 생물학 연구의 새로운 패러다임을 제시했습니다. CellVerse는 자연어를 통해 세포 생물학을 발전시키는 기반을 마련하고 차세대 단일 세포 분석을 촉진할 것으로 기대됩니다. 이 연구는 LLM의 발전 방향과 세포 생물학 연구의 미래를 엿볼 수 있는 중요한 이정표입니다.

Fan Zhang 등 10명의 연구진은 CellVerse를 통해 세포 생물학 연구에 LLM을 적용하는데 있어 풀어야 할 과제들을 명확히 제시했습니다. 이는 향후 연구 방향에 중요한 지침을 제공할 것입니다. 앞으로의 연구를 통해 LLM이 세포 생물학의 발전에 더 크게 기여할 수 있기를 기대합니다.