LMCache: LLM 서빙 가속을 위한 KV 캐시 공유 및 관리 레이어

LMCache는 Transformer 기반 LLM 추론 시 발생하는 KV 캐시(Key-Value Cache)의 GPU 메모리 종속 문제를 해결하기 위해 설계된 오픈소스 분산 KV 캐시 공유 및 관리 레이어입니다.

1. 아키텍처 및 핵심 메커니즘

전통적으로 KV 캐시는 각 GPU 메모리 내부의 세션 단위로 휘발되어 재사용이 어려웠습니다. LMCache는 이를 공유 가능한 영속적 지식(Persistent Knowledge)으로 전환합니다:

  • 다중 계층 저장소 오프로딩 (Hierarchical Storage Offloading): GPU VRAM의 캐시를 호스트 CPU 메모리, 로컬 NVMe SSD 디스크, 혹은 원격 공용 스토리지(Redis, MinIO, S3 등)로 백업 및 복원합니다.
  • 분산 캐시 공유 (Distributed KV Caching): 여러 LLM 추론 노드가 동일한 프롬프트(예: 공통 시스템 프롬프트, 도메인 기술 문서 등)를 처리할 때, 이미 계산된 KV 캐시를 서로 공유하여 중복Prefill 연산을 방지합니다.
  • 캐시 압축 및 양자화: 대역폭 전송 비용을 줄이기 위해 자체적인 KV 캐시 양자화(Int4/FP8) 및 압축 프로토콜을 적용합니다.

2. vLLM과의 연동 아키텍처 예시

LMCache는 vLLM 및 SGLang과 플러그인 형태로 밀접하게 결합될 수 있습니다.

# LMCache 연동 vLLM 설정 예시 (개념적 코드)
from vllm import LLM, SamplingParams
from lmcache.integration.vllm import LMCacheConfig
 
# LMCache 설정 정의 (Redis 백엔드 사용)
lmcache_config = LMCacheConfig(
    backend="redis",
    backend_url="redis://localhost:6379",
    compress_level=1, # 캐시 압축 레벨
)
 
# LLM 엔진 초기화 시 LMCache 주입
llm = LLM(
    model="meta-llama/Meta-Llama-3-8B-Instruct",
    enable_lmcache=True,
    lmcache_config=lmcache_config
)

3. RAG 및 에이전트 시스템에 미치는 의의

RAG 및 멀티 에이전트 시스템에서는 에이전트가 동일한 문서 세트나 프롬프트 템플릿을 반복하여 참조합니다. LMCache를 활용하면:

  1. 첫 번째 토큰 생성 시간(TTFT) 단축: KV 캐시가 원격 저장소에 공유되어 있으므로 대용량 문맥 입력 시 prefill 연산이 스킵되어 응답 속도가 비약적으로 향상됩니다.
  2. GPU 메모리 절약: 긴 대화 히스토리의 KV 캐시를 VRAM이 아닌 CPU나 SSD로 오프로드하여, 더 많은 동시 요청(Concurrent Requests)을 수용할 수 있습니다.

🔗 연결된 문서