Contextual Retrieval (맥락적 검색) - Anthropic RAG 최적화
1. 개요 (Overview)
Anthropic은 기존 RAG(검색 증강 생성) 시스템의 고질적인 문제인 ‘청크(Chunk)화 과정에서의 문맥 소실’을 해결하기 위한 Contextual Retrieval 기술을 발표함. 이 기술은 검색 실패율을 최대 67%까지 낮출 수 있는 획기적인 전처리 및 검색 전략을 제시함.
2. 핵심 기술 요소 (Key Components)
2.1. Contextual Embedding (맥락적 임베딩)
- 문제점: 문서를 작은 조각으로 나눌 때, 해당 조각이 전체 문서의 어떤 맥락(예: 특정 제품의 가격인지, 경쟁사 비교인지 등)에서 나온 것인지 알 수 없게 됨.
- 해결책: 각 청크를 인덱싱하기 전, Claude(예: Claude 3 Haiku)를 사용하여 전체 문서의 맥락을 요약한 짧은 텍스트(50~100 토큰)를 청크 앞에 추가함.
- 예시:
- 기존 청크: “회사의 매출이 전년 대비 3% 성장했다.”
- 맥락 추가: “[이 청크는 ACME Corp의 2023년 2분기 실적 보고서 중 수익성에 대한 섹션임] 회사의 매출이 전년 대비 3% 성장했다.”
2.2. Contextual BM25 (맥락적 키워드 검색)
- 벡터 검색(Embedding)뿐만 아니라 전통적인 키워드 검색(BM25) 인덱스에도 동일한 맥락 정보를 추가하여 키워드 매칭 정확도를 높임.
2.3. Reranking (리랭킹)
- 검색된 상위 결과들을 다시 한 번 정밀하게 순위를 매기는 과정. Contextual Retrieval과 결합 시 성능 극대화.
3. 성능 개선 수치 (Performance)
- Contextual Embedding 적용 시: 검색 실패율 35% 감소.
- Contextual Embedding + BM25 결합 시: 검색 실패율 49% 감소.
- 리랭킹(Reranking)까지 추가 시: 검색 실패율 총 67% 감소.
4. 비용 효율화 (Cost Optimization)
- Anthropic의 Prompt Caching 기능을 활용하면 전체 문서를 매번 모델에 보낼 필요 없이 한 번만 캐싱하여 수만 개의 청크에 맥락을 추가할 수 있어 비용을 획기적으로 절감 가능.
5. R&D 시사점 (AX1센터)
- T2SQL v2/v3: 데이터베이스 스키마 및 메타데이터를 RAG로 관리할 때, 각 테이블/컬럼 설명에 전체 스키마 맥락을 주입하여 스키마 링킹 정확도를 높일 수 있음.
- AIOps: 로그 청크에 장애 발생 전후의 시스템 상태 맥락을 추가하여 RCA(근본 원인 분석) 성능 향상 기대.
출처: Anthropic Research - Contextual Retrieval
관련 노트: [[wiki/RAG/RAG-Best-Practices]], T2SQL v2 로드맵