ESG 보고서 자동화의 혁신: ESG-CID 데이터셋으로 RAG 시스템의 한계를 극복하다

본 기사는 Shafiuddin Rehan Ahmed 등 8명의 연구진이 개발한 ESG-CID 데이터셋을 중심으로 ESG 보고서 자동화의 혁신적인 발전에 대해 소개합니다. 기존 ESG 보고서의 '공개 내용 색인'을 활용한 약한 지도 학습 방식과 RAG 시스템의 성능 향상에 대한 내용을 다루고 있습니다.

기후 변화 시대, 기업의 환경, 사회, 지배구조(ESG) 보고는 더 이상 선택이 아닌 필수가 되었습니다. GRI(Global Reporting Initiative)와 새로운 ESRS(European Sustainability Reporting Standards)와 같은 표준들이 등장했지만, 방대한 보고서 길이와 기업별 보고 스타일의 차이로 인해 포괄적인 보고서 작성은 여전히 어려움을 겪고 있습니다.

이러한 문제를 해결하기 위해 등장한 것이 바로 Retrieval-Augmented Generation (RAG) 시스템입니다. 하지만 RAG 시스템 개발의 가장 큰 걸림돌은 바로 적절한 학습 데이터의 부족이었습니다. Shafiuddin Rehan Ahmed를 비롯한 8명의 연구진은 이 문제에 대한 해결책을 제시했습니다.

그들이 제시한 솔루션은 바로 ESG-CID 데이터셋입니다. 기존 ESG 보고서에 포함된 **'공개 내용 색인(disclosure content index)'**이라는 활용되지 않은 데이터를 활용, 약한 지도 학습(weak supervision) 방식으로 GRI와 ESRS 표준 모두를 아우르는 방대한 데이터셋을 구축했습니다. 연구진은 대규모 언어 모델(LLM)을 활용하여 특정 공개 요구 사항과 보고서 섹션 간의 매핑을 추출하고 정제하여 강력한 학습 및 평가 세트를 생성했습니다.

ESG-CID 데이터셋을 이용한 실험 결과는 놀랍습니다. 다양한 임베딩 모델을 벤치마킹한 결과, BERT 기반 모델의 미세 조정을 통해 상용 임베딩 및 주요 공개 모델보다 뛰어난 성능을 달성했습니다. 특히 GRI에서 ESRS로의 보고서 스타일 전환이 필요한 시간적 데이터 분할에서도 우수한 성능을 보였습니다. 이는 ESG-CID 데이터셋이 단순히 현재뿐 아니라 미래의 ESG 보고서 자동화에도 크게 기여할 수 있음을 시사합니다.

이 연구의 의의는 다음과 같습니다.

• 약한 지도 학습의 효과적인 활용: 기존 데이터를 재활용하여 새로운 가치를 창출하는 혁신적인 접근 방식을 제시했습니다.
• GRI와 ESRS 표준의 통합: 두 가지 주요 표준을 모두 지원하는 범용적인 데이터셋을 구축하여 ESG 보고서 자동화의 범용성을 높였습니다.
• 시간적 데이터 분할을 통한 강건성 확보: 다양한 보고서 스타일과 시간적 변화에 대한 적응력을 높여 실제 적용 가능성을 입증했습니다.

ESG-CID 데이터셋은 ESG 보고서 자동화의 새로운 지평을 열었습니다. 앞으로 이 데이터셋을 활용한 다양한 연구와 개발을 통해 더욱 효율적이고 정확한 ESG 보고 시스템이 구축될 것으로 기대됩니다. 이를 통해 기업의 ESG 경영 투명성과 책임성이 더욱 강화될 것입니다. 🎉