BM25 Scale Evaluation RAG
핵심 요약
대규모 지식 기반 문서(6억 토큰, 50만 문서 이상)에서 RAG 시스템을 구축할 때, 복잡한 LLM 에이전트보다 전통적인 BM25(어휘 기반 검색)가 훨씬 비용 효율적이며 정확도도 높다는 연구 결과입니다 (Wang et al., 2026).
주요 주장 (Claims)
- 규모에 따른 교차점: 소규모 지식 기반에서는 LLM 기반 파일 시스템 에이전트(File-System Agent)가 약간 앞서지만, 약 1,000만 토큰을 넘어서면 BM25가 에이전트를 추월합니다.
- 대규모(6억 토큰)에서의 압승: 6억 토큰 규모에서는 BM25가 파일 시스템 에이전트보다 약 20점 가까이 높은 정확도를 보여줍니다.
- 비용 및 지연 시간 압도적 우위: 질의당 BM25는 약 5.8K 토큰을 소모하는 반면, 에이전트는 최대 895K 토큰을 소모하여 경제성이 크게 떨어집니다.
아키텍처 및 평가 방식
- 통제된 실험 환경 (Corpus Ladder): 1,144개에서 511,959개의 문서 (1.7M ~ 600M 토큰)까지 28단계로 세밀하게 구축된 코퍼스를 사용하여, 동일한 질문과 판별기(Qwen3.6-27B)로 평가.
- 비교 대상: 어휘 기반(BM25), 밀집 검색(Dense), 그래프 기반 RAG(HippoRAG, GraphRAG 등), 파일 시스템 탐색 LLM 에이전트.
- 결론: 대규모 엔터프라이즈 환경에서는 전체 라이브러리를 한 번에 순위 매기는 전역적인 어휘 검색(BM25)을 기본으로 삼고, 에이전트 역량은 검색 이후 단계에서 덧붙이는 것이 가장 합리적인 시스템 설계입니다.