LFM2.5 Embedding 및 ColBERT 고성능 검색 모델
LFM2.5-350M(28T 토큰 사전 학습 Causal Decoder)을 기반으로 Bidirectional 구조로 개조 패치된 LFM2.5 검색 모델군은 다국어(multi-lingual) 환경에서 뛰어난 시맨틱 매칭 성능을 보이며, RAG 및 에이전트 툴 라우팅에 폭넓게 응용됩니다.
1. 모델 아키텍처 분류
- LFM2.5-Embedding-350M (단일 벡터 검색)
- 구조: 전체 문서나 단락을 하나의 고밀도 벡터로 압축하여 검색합니다.
- 장점: 인덱스 크기가 매우 작고, 코사인 유사도 연산으로 초고속 벡터 검색이 가능합니다.
- LFM2.5-ColBERT-350M (토큰별 다중 벡터 매칭)
- 구조: 문서와 쿼리의 모든 개별 토큰에 대해 벡터를 부여한 뒤 Late Interaction 방식으로 매칭합니다.
- 장점: 단어 수준의 정확하고 정교한 부분 일치 매칭이 가능하여, 도메인 특화 어휘나 코드 심볼 검색 시 매우 높은 정확도를 보입니다.
2. 실전 에이전틱 AI 응용 사례 (스마트 툴 셀렉터)
- 에이전트가 호출 가능한 도구(Tool) 수가 증가함에 따라(예: 150개 이상), 이를 한 번에 컨텍스트 윈도우에 집어넣는 것은 심각한 토큰 낭비와 추론 정확도 하락을 유발합니다.
- ColBERT 모델을 툴 인덱서로 활용하여, 사용자 프롬프트를 분석한 뒤 151개의 후보 도구 중 가장 관련도가 높은 상위 5개의 도구만을 정확히 실시간 필터링하여 에이전트 컨텍스트에 주입합니다. 이를 통해 API 호출 토큰을 획기적으로 세이브하고 에이전트 최종 성공률을 향상시킬 수 있습니다.
🔗 연결된 문서
- Multi-Vector-Search-and-Late-Interaction-PyLate.md — 지연 상호작용 및 다중 벡터 검색 원리.
- Anthropic-Contextual-Retrieval.md — 컨텍스트 유실을 막기 위한 또 다른 고도화 검색 기법.
- 000_RAG-MOC.md