Gemini 2.5 Pro로 정확도가 높은 금융 문서 인텔리전스 시스템 구축

Pascal AI는 수백만 페이지의 서류, 메모, 모델을 처리하기 위해 기관 규모로 운영되는 투자 펀드를 위해 설계된 AI 네이티브 운영체제입니다. 이 회사의 사명은 회사의 내부 및 외부 데이터를 AI 기반 이점으로 전환하여 분석가와 CIO가 데이터 기반의 의사 결정을 더 빠르게 내릴 수 있도록 지원하는 것입니다.

에이전트 워크플로를 지원하는 지식 그래프를 구축하기 위해 Pascal AI는 다양한 복잡한 금융 문서를 정확도가 뛰어난 구조화된 텍스트로 변환할 수 있는 문서 인텔리전스 시스템이 필요했습니다.

재무 문서는 프로그래매틱 파싱에 고유하고 해결하기 어려운 문제를 야기합니다. Gemini API를 통합하기 전에 Pascal AI팀은 다양한 OCR 도구와 대규모 언어 모델을 테스트했으며 다음과 같은 지속적인 기술적 장애물을 발견했습니다.

• 복잡한 시각적 데이터: 다중 축 차트와 추세 그래프에서 정확한 데이터를 추출하는 것은 쉽지 않습니다. 다른 모델은 원본 시각적 요소에 없는 값을 환각하는 경우가 많아 허용할 수 없는 신뢰성 문제가 발생했습니다.
• 복잡한 표 구조: 재무제표에는 병합된 셀이 포함되어 있는 경우가 많으며 가로와 세로로 여러 페이지에 걸쳐 있습니다. 표준 추출 라이브러리는 이 구조를 유지하지 못하는 경우가 많아 통화 단위나 기간과 같은 중요한 컨텍스트가 손실되었습니다.
• 다양한 문서 품질: 데이터 소스는 디지털 네이티브 파일부터 해상도가 낮은 스캔 PDF까지 다양하므로 엄격한 파싱 로직이 취약해집니다.

Pascal AI에는 환각 현상 없이 이러한 복잡성을 처리할 수 있는 파싱 레이어가 필요했습니다.

이러한 문제를 해결하기 위해 Pascal AI는 LangChain을 통해 Gemini 2.5 Pro를 문서 인텔리전스 스택의 핵심으로 통합했습니다.

Pascal AI의 AI 책임자인 카나브 아난드에 따르면 이 모델의 멀티모달 추론으로 정확도가 크게 향상되었습니다. 이전 솔루션과 달리 Gemini 2.5 Pro는 허위 정보를 최소화하고 복잡한 그래프와 차트를 구조화된 마크다운 표로 정확하게 변환하여 중요한 금융 컨텍스트를 보존합니다.

성공을 측정하기 위해 Pascal AI는 내부 평가 세트를 활용하여 편집 거리 오류율을 추적하여 파싱된 출력이 원본 텍스트에 얼마나 가까운지 확인합니다. Gemini 2.5 Pro는 4% 의 편집 거리 오류율을 기록하여 테스트된 차선 모델보다 2배 더 정확한 성능을 보였습니다. 또한 이 모델은 표, 단락, 헤더와 같은 구조적 구성요소를 올바르게 식별하여 요소별 정확도 100%를 달성했습니다.

Gemini API는 단순한 정확성뿐만 아니라 개발 속도도 개선했습니다. 팀은 취약한 맞춤 로직이 아닌 프롬프트 엔지니어링을 통해 복잡한 문서 인텔리전스 문제를 해결함으로써 새로운 문서 유형이 제공될 때 신속하게 반복하여 지원할 수 있습니다.

앞으로 Pascal AI는 모델 오케스트레이션, 도메인별 재무 보고를 위한 미세 조정 등 고급 방법을 실험하여 파싱 정확도를 100% 에 가깝게 끌어올릴 계획입니다.

Gemini 모델로 빌드를 시작하려면 API 문서를 참고하세요.