다중 벡터 검색 (Multi-Vector Search) 및 Late Interaction (PyLate) 아키텍처
전통적인 밀집 벡터 검색(Single-Vector Dense Retrieval)은 문장이나 전체 문서를 하나의 고정 차원 벡터(예: 768차원 또는 1536차원)로 압축합니다. 이 방식은 문맥의 전체적인 의미는 잘 표현하지만, 특정 단어의 부분 일치, 고유명사, 혹은 코드 심볼과 같은 세부적인 키워드를 정확하게 매칭하지 못한다는 한계를 지닙니다.
**다중 벡터 검색 (Multi-Vector Search)**과 Late Interaction (지연 상호작용) 모델(예: ColBERT)은 이를 해결하기 위해 문서와 쿼리의 모든 토큰별로 개별 벡터를 부여하고 매칭을 늦춰 연산하는 아키텍처입니다.
1. Late Interaction (지연 상호작용) 개념 및 메커니즘
- Early Interaction (교차 인코더): 쿼리와 문서를 처음부터 하나로 결합하여 양방향 어텐션을 통과시킵니다. 정확도는 가장 높으나 대규모 문서를 사전에 벡터화할 수 없고 매 검색 시마다 LLM 급의 거대한 연산이 필요해 속도가 극도로 느립니다.
- Late Interaction (지연 상호작용):
- 사전 임베딩: 말뭉치(Corpus)의 모든 문서의 각 토큰 임베딩을 오프라인에서 미리 계산해 둡니다.
- 쿼리 임베딩: 검색 시 입력된 쿼리의 모든 토큰 임베딩을 온라인에서 계산합니다.
- 지연 매치 (MaxSim 연산): 쿼리의 토큰 와 문서의 토큰 벡터 간의 유사도를 구한 뒤, 쿼리의 각 토큰별로 가장 큰 유사도를 가지는 문서 토큰의 최대값들(MaxSim)을 더해 최종 문서 점수를 산출합니다.
Early Interaction Late Interaction (ColBERT/PyLate)
================= =================================
[Query] ───┐ [Query] ───► [Query Token Embs] ──┐
├──► [Bi-Encoder] ──► ├──► [MaxSim Operator]
[Doc] ─────┘ [Doc] ───► [Doc Token Embs] ──┘2. 핵심 구현체 및 오픈소스
- ColBERT-Zero: 추가적인 도메인 학습 없이 제로샷(Zero-shot) 환경에서도 높은 정확도를 유지하는 Late Interaction 모델.
- PyLate: Late Interaction 모델의 학습 및 추론 파이프라인을 손쉽게 구성할 수 있도록 지원하는 고성능 파이썬 오픈소스 라이브러리.
- RAG에서의 의의: 컨텍스트 윈도우가 늘어났음에도 불구하고, 신뢰성 있고 저비용의 정밀한 정보 매칭을 위해서는 다중 벡터 검색을 통한 1차 후보군 필터링이 필수적입니다.
3. PyLate를 활용한 쿼리 임베딩 추출 예시
# PyLate 기반 쿼리 임베딩 생성 개념 코드
from pylate import LateInteractionModel
# 1. 사전 학습된 ColBERT 기반 Late Interaction 모델 로드
model = LateInteractionModel.from_pretrained("lighton/colbert-zero-v1")
# 2. 쿼리 및 문서 토큰별 다중 벡터 추출
query_vectors = model.encode_query("What is late interaction in RAG?")
document_vectors = model.encode_document("Late interaction computes MaxSim over token embeddings.")
# 3. 토큰 차원 확인 (각 토큰마다 개별 벡터 할당됨)
print("Query shape:", query_vectors.shape)
# 출력 예시: (1, 32, 128) -> (배치, 최대 토큰 수, 임베딩 차원)