BM25와 대규모 컨텍스트 LLM의 RAG 실효성 검증
최근 1M 토큰 이상의 울트라 롱 컨텍스트를 지원하는 LLM이 다수 출시되었으나, 실제 대규모 상용 환경(예: 600M 토큰 규모)에서의 검증 결과, 단순 컨텍스트 확장이 검색 성능 향상을 완벽히 보장하지 않는다는 사실이 확인되었습니다.
1. 1M 컨텍스트 LLM의 실질적 한계
- 정답률 급락: 수만 장의 대형 문서를 한 번에 입력하여 프롬프트 컨텍스트 내에서 직접 정답을 찾게 하는 경우, 문서 수와 컨텍스트가 늘어남에 따라 LLM의 정보 탐색 성공률이 급락합니다. 실제 1만 장 분량(약 수백만 토큰)의 컨텍스트 환경에서 모델의 정답 추출 성능은 0.2% 수준까지 떨어집니다.
- 원인: 모델 자체는 학습 수준상 정답을 도출하는 방법을 알더라도, 컨텍스트 윈도우 내에 수천 개의 유사하고 관련 없는 노이즈 정보가 섞여 있어(Needle in a Haystack 현상), 주의력(Attention)의 분산 및 왜곡이 발생합니다.
2. 키워드 기반 BM25의 지속적인 우수성
- 600M 토큰 규모의 실제 RAG 벤치마크 테스트에서 기존의 전통적인 BM25 키워드 검색 엔진 기반 검색 및 요약 파이프라인이 임베딩 기반 밀집 벡터 검색(Dense Vector Search) 및 롱 컨텍스트 LLM 직접 추론 방식보다 더 높은 견고성(Robustness)과 안정적인 정답률을 보였습니다.
- 비용 대 효과: LLM 대규모 컨텍스트 호출에 따르는 막대한 토큰 비용(Latency & Compute Cost)에 비해, BM25를 결합하여 정확한 탑-K 청크만을 필터링하는 방식이 대규모 엔터프라이즈 환경에서 압도적인 가성비를 냅니다.
- 원본 출처: raw/Untitled 1.md