CiteBART: 인용 생성의 새로운 지평을 열다
CiteBART는 BART 기반의 새로운 인용문 생성 모델로, 인용문의 필요성 판단 및 최적 후보 논문 제안이라는 두 가지 작업을 수행합니다. 대규모 데이터셋에서 우수한 성능을 보이지만, 소규모 데이터셋에서는 성능 개선이 필요합니다. 제로샷 능력을 통해 다양한 상황에 적용 가능성을 보여줍니다.

학술 논문 작성에서 인용은 필수적인 요소입니다. 하지만 적절한 인용문을 찾고 생성하는 것은 상당한 시간과 노력을 필요로 하는 어려운 작업입니다. Ege Yiğit Çelik과 Selma Tekir이 개발한 CiteBART는 이러한 어려움을 해소하기 위한 획기적인 시도입니다.
CiteBART는 인용 생성이라는 과제를 두 가지 하위 작업으로 나누어 해결합니다. 먼저, 주어진 문맥에서 인용이 필요한지 여부를 판단하고, 필요하다면 가장 적합한 논문을 제안하는 것입니다. 후자는 '지역 인용 추천(LCR)'이라고 불리는데, CiteBART는 바로 이 LCR을 수행하기 위해 BART 기반의 사전 훈련 모델을 활용합니다.
CiteBART의 핵심은 인용 토큰 마스킹 기법입니다. 기본 방식에서는 지역 인용 문맥에서 인용 토큰을 마스킹하여 인용문을 예측하고, 고급 방식에서는 인용 논문의 제목과 초록을 지역 인용 문맥에 연결하여 인용 토큰을 재구성하는 학습을 진행합니다. 이러한 독창적인 접근 방식 덕분에 CiteBART는 Refseer와 ArXiv와 같은 대규모 벤치마크 데이터셋에서 기존 최고 성능 모델들을 뛰어넘는 성과를 달성했습니다.
하지만 모든 데이터셋에서 완벽한 성능을 보여준 것은 아닙니다. FullTextPeerRead 데이터셋에서는 다소 성능이 낮게 나타났는데, 이는 CiteBART의 한계이자 향후 연구의 중요한 방향을 제시하는 부분입니다.
흥미로운 점은 CiteBART의 생성적 특성 덕분에 제로샷 능력을 갖추었다는 점입니다. 이는 추가적인 훈련 없이도 다양한 상황에 적용 가능하다는 것을 의미하며, CiteBART의 실용성을 더욱 높여줍니다.
CiteBART의 등장은 학술 연구의 효율성을 높이고 연구자들의 부담을 줄일 수 있는 긍정적인 전망을 제시합니다. 하지만 아직 개선의 여지가 있는 만큼, 향후 연구를 통해 더욱 완성도 높은 인용 생성 모델의 개발이 기대됩니다. 특히 FullTextPeerRead 데이터셋과 같은 소규모 데이터셋에 대한 성능 개선은 중요한 과제가 될 것입니다. 💯
Reference
[arxiv] CiteBART: Learning to Generate Citations for Local Citation Recommendation
Published: (Updated: )
Author: Ege Yiğit Çelik, Selma Tekir
http://arxiv.org/abs/2412.17534v1