상징적 회귀의 혁신: 강화학습 기반의 Sym-Q 프레임워크

EPFL-IMOS 연구팀이 개발한 Sym-Q는 강화학습을 활용한 혁신적인 상징적 회귀 프레임워크로, 도메인 전문가와의 상호작용을 통해 최적의 수학적 표현을 도출합니다. 기존 방식보다 효율적이며 실제 문제 해결에 큰 성과를 보였습니다.

데이터에서 숨겨진 수학적, 물리적 관계를 밝히는 상징적 회귀(Symbolic Regression, SR)는 막대한 잠재력을 가지고 있습니다. 하지만 가능한 표현의 조합 공간이 방대하여 온라인 검색 방법과 사전 훈련된 트랜스포머 모델 모두에 상당한 어려움을 안겨주었습니다. 더욱이, 최신 접근 방식들은 일반적으로 도메인 전문가의 사전 지식 통합을 고려하지 않고, 방정식 발견 과정 중 모델과의 반복적인 상호 작용을 지원하지 않는다는 한계를 가지고 있었습니다.

이러한 문제점들을 해결하기 위해, EPFL-IMOS 연구팀(Yuan Tian, Wenqi Zhou, Michele Viscione, Hao Dong, David Kammer, Olga Fink)은 대규모 상징적 회귀를 위한 혁신적인 상호 작용 프레임워크인 Sym-Q (Symbolic Q-network) 를 제안했습니다. 기존의 트랜스포머 기반 SR 접근 방식과 달리, Sym-Q는 트랜스포머 기반 디코더에 의존하지 않고 강화학습을 활용합니다. 이를 통해 어떤 종류의 트리 인코더를 사용하더라도 오프라인 강화학습을 통해 학습과 추론을 더욱 효율적으로 수행할 수 있습니다.

또한, 연구팀은 공동 설계(co-design) 메커니즘을 제안했습니다. 이는 강화학습 기반 Sym-Q가 방정식 발견 과정의 어떤 단계에서든 도메인 전문가와 효과적으로 상호 작용할 수 있도록 지원합니다. 사용자는 생성된 표현의 노드를 동적으로 수정하여 에이전트와 협력하여 문제에 가장 적합하고 가정된 물리 법칙과 일치하는 수학적 표현을 만들 수 있습니다. 특히 예상되는 동작에 대한 부분적인 사전 지식이 있을 때 유용합니다.

실험 결과, 사전 훈련된 Sym-Q는 어려운 SSDNC 벤치마크에서 기존 SR 알고리즘을 능가하는 성능을 보였습니다. 더 나아가, 실제 사례에서 상호 작용적 공동 설계 메커니즘을 통해 성능이 더욱 향상되었으며, Sym-Q는 다른 최첨단 모델보다 더 큰 성능 향상을 달성했습니다. 재현 가능한 코드는 GitHub에서 확인할 수 있습니다.

Sym-Q는 상징적 회귀 분야에 새로운 가능성을 제시하며, 특히 도메인 전문가의 지식을 효과적으로 통합하고 상호 작용적인 방식으로 모델을 개선할 수 있다는 점에서 큰 의미를 가집니다. 이 연구는 앞으로 더욱 복잡한 과학적 문제를 해결하는 데 중요한 역할을 할 것으로 기대됩니다.