OpenDataLoader PDF: AI 및 RAG를 위한 오픈소스 고성능 PDF 파싱 엔진

1. 개요

OpenDataLoader PDF는 PDF 문서 내부의 텍스트와 레이아웃을 AI 학습, 검색 증강 생성(RAG), 데이터 파이프라인에 활용하기 적합한 구조화된 데이터(Markdown, JSON, HTML)로 전처리해주는 고성능 오픈소스 파싱 라이브러리입니다. 한글과컴퓨터(Hancom)가 주도하여 개발을 추진하고 있으며 Apache License 2.0 하에 제공됩니다.

2. 핵심 아키텍처 및 주요 기능

단순 텍스트 덤핑 방식을 취하는 기존 PDF 라이브러리들과 달리, AI 추론 및 컨텍스트 매핑 효율을 고려해 고도화된 설계를 차용했습니다:

(1) 레이아웃 인식 구조화 (Layout-aware Parsing)

  • 본문의 제목(Heading), 표(Table), 리스트(List), 이미지(Image), 수학 수식(Mathematical Formula) 등을 구분하여 추출합니다.
  • 다단(Multi-column) 문서나 불규칙한 그리드 구조에서도 인간이 읽는 흐름과 동일한 올바른 읽기 순서(Reading Order)를 식별 및 재구성합니다.

(2) Bounding Box 좌표 제공 (RAG-Optimized Attribution)

  • 모든 추출된 콘텐츠 블록에 대해 PDF 내 실제 위치 좌표(Bounding Box) 데이터를 제공합니다.
  • RAG 시스템에서 특정 텍스트나 표를 응답으로 인용할 때, 원본 PDF 내 정확한 페이지와 좌표를 추적하여 하이라이트할 수 있도록 지원합니다.

(3) 로컬 퍼스트(Local-First) 경량화 엔진

  • 기본 모드에서는 GPU 가속이나 무거운 딥러닝 모델 호출 없이 CPU만으로 작동하는 규칙 기반 휴리스틱(Heuristic) 파싱 엔진을 탑재했습니다.
  • 보안이 민감한 내부 문서나 엔터프라이즈 환경에서 외부 API 호출 없이 로컬 샌드박스에서 즉각적인 초고속 파싱을 구현합니다.

(4) 하이브리드 파싱 모드

  • 규칙 기반 엔진으로 분석하기 까다로운 스캔 이미지 문서, 극도로 복잡한 그리드의 다차원 표, 손글씨가 혼재된 문서 등의 경우에는 선택적으로 AI 비전 모델(VLM)을 결합하여 분석 정확도를 극대화할 수 있는 하이브리드 파이프라인을 지원합니다.

(5) 생태계 통합 및 다국어 SDK

  • TypeScript/JavaScript, Python, Java SDK를 공식 지원합니다.
  • LangChain, LlamaIndex 등 대표적인 LLM 및 RAG 프레임워크 라이브러리와 네이티브로 연동할 수 있는 데이터 로더(DataLoader) 인터페이스를 기본 탑재하고 있습니다.