KM Wiki

kv-cache

4건의 항목

  • 2026년 11월 03일

    KV-Lingo: 이종 LLM 라우팅의 재프리필 병목을 제거하는 선형 KV 캐시 직접 번역 아키텍처

    • models
    • optimization
    • serving
    • kv-lingo
    • apple
    • kv-cache
    • model-routing
    • moa
    • distillation
  • 2026년 9월 09일

    Declarative Attention: 모델 자기 주도적 KV 캐시 탐색 및 추론 가속 (arXiv:2609.02737)

    • models
    • optimization
    • serving
    • attention
    • kv-cache
    • long-context
    • kaist-ai
    • google-deepmind
  • 2026년 7월 31일

    LMCache: LLM 서빙 가속을 위한 KV 캐시 공유 및 관리 레이어

    • models
    • optimization-and-serving
    • kv-cache
    • lmcache
    • vllm
    • sglang
  • 2026년 4월 19일

    Google-TurboQuant-KV-Cache-Compression

    • wiki
    • ai_core
    • models_and_libraries
    • llm_optimization_and_serving
    • llm-optimization
    • kv-cache
    • quantization
    • google-research
    • memory-efficiency