낯선 객체도 거뜬히 찾는다! 스케치와 텍스트의 만남: CSTBIR과 STNET

본 기사는 스케치와 텍스트를 결합한 새로운 이미지 검색 시스템에 대한 연구를 소개합니다. 어휘력이 부족하거나 복잡한 상호작용을 포함하는 객체를 검색하는 데 어려움을 겪는 사용자들을 위해 개발된 CSTBIR 데이터셋과 STNET 모델은 기존 방법보다 우수한 성능을 보이며, 공개된 데이터셋과 코드는 향후 연구 발전에 크게 기여할 것으로 예상됩니다.

넘뱃을 찾아서: 이미지 검색의 새로운 지평

호주에 사는 희귀 동물 넘뱃을 아십니까? 영어를 모국어로 하지 않는 사람들에게는 넘뱃의 이름조차 생소할 수 있습니다. 이처럼 이름은 몰라도 이미지는 떠올릴 수 있는, 혹은 복잡한 상호작용을 포함하는 객체를 검색하는 것은 기존의 이미지 검색 시스템으로는 한계가 있었습니다. Prajwal Gatti를 비롯한 연구진은 이러한 어려움을 해결하기 위해 획기적인 연구를 발표했습니다.

스케치와 텍스트의 조화: CSTBIR과 STNET의 등장

연구진은 스케치와 텍스트를 결합한 복합 질의를 사용하는 새로운 이미지 검색 시스템을 제안했습니다. 쉽게 그릴 수 있지만 이름을 모르는 객체는 스케치로, 그리고 스케치하기 어렵지만 설명하기 쉬운 객체의 특징이나 상호작용은 텍스트로 입력하는 방식입니다. 예를 들어, 넘뱃이 땅을 파는 모습을 검색하고 싶다면, 넘뱃의 스케치와 “땅을 파는”이라는 텍스트를 함께 입력하면 됩니다.

이를 위해 연구진은 약 200만 개의 질의와 10만 8천 개의 자연 장면 이미지로 구성된 새로운 데이터셋 CSTBIR (Composite Sketch+Text Based Image Retrieval) 을 구축했습니다. 그리고 이 데이터셋을 기반으로 스케치와 텍스트를 함께 인코딩하여 이미지 검색을 수행하는 STNET (Sketch+Text Network) 이라는 다중 모드 트랜스포머 기반 모델을 개발했습니다. STNET은 스케치를 이용하여 관련 객체를 자연스럽게 찾아내는 능력을 보여줍니다.

놀라운 성능과 공개된 자원

연구 결과, STNET은 텍스트만, 스케치만, 또는 둘 다 사용하는 다양한 질의 방식에서 기존 최첨단 검색 방법들을 능가하는 성능을 보였습니다. 더욱 중요한 것은, 연구진이 CSTBIR 데이터셋과 STNET 코드를 모두 공개했다는 점입니다. 이는 다른 연구자들이 이 연구를 바탕으로 더욱 발전된 기술을 개발하는 데 큰 도움이 될 것입니다.

이 연구는 단순히 기술적인 발전을 넘어, 언어 장벽이나 어휘력 부족으로 정보 접근에 어려움을 겪는 사람들에게 획기적인 도움을 줄 수 있을 것으로 기대됩니다. 스케치와 텍스트의 조화로운 결합은 이미지 검색의 새로운 지평을 열었습니다.