AI 비용폭탄, 이젠 끝났다?
AI 비용폭탄, 이젠 끝났다? - NVIDIA 가 찾아낸 ‘KV 캐시 연금술’ 인공지능 산업이 고도화됨에 따라 대규모 언어 모델(LLM)을 실제 서비스에 배포하고 운영하는 ‘서빙(Serving)‘의 효율성이 핵심 과제로 떠오르고 있다. 사용자가 ChatGPT나 Claude와 같은 챗봇을 사용할 때 첫 번째 토큰이 생성되기까지 약간의 지연 시간이 발생하는 이유는, 모델이 사용자의 프롬프트 전체를 읽고 이해하는 ‘프리필(Prefill)’ 단계를 거치며 그 결과물로 ‘KV 캐시(Key-Value Cache)‘를 생성하기 때문이다. 이러한 상황에서 최근 NVIDIA 연구진이 발표한 논문은 KV 캐시를 서로 다른 모델 간에 전송할 수 있는 혁신적인 방법을 제시하며 LLM 서빙의 구조적 한계를 돌파할 실마리를 제공했다. 현재의 LLM API는 기본적으로 무상태(Stateless)로 작동하므로 대화가 길어질수록 매 턴마다 전체 대화 기록이 모델로 다시 전송되어야 하며, 모델은 새로운 답변을 생성하기 전에 방대한 컨텍스트를 처음부터 다시 연산해야 한다. 이를 해결하기 위해 등장한 프롬프트 캐싱 기술은 연산이 끝난 KV 캐시를 저장해 두었다가 재사용함으로써 비용과 시간을 크게 절감했지만, 생성된 캐시가 특정 모델의 가중치(Weights)에 종속된다는 치명적인 약점이 존재했다. 따라서 질의의 난이도에 따라 작은 모델(예: 14B)과 큰 모델(예: 32B)을 유동적으로 전환하는 ‘모델 라우팅(Model Routing)’ 기법을 적용할 경우, 모델이 교체되는 순간 기존의 KV 캐시가 무효화되어 방대한 컨텍스트를 처음부터 다시 연산해야 하는 비효율성이 발생했다. NVIDIA 연구진은 이 문제를 ‘표현의 변환 문제’로 재정의하고, 같은 모델 제품군 내에서는 KV 캐시 간에 상당한 선형적 구조가 존재함을 발견했다. Qwen3 14B 모델에서 32B 모델로 이동할 때 단일 소스 레이어의 단순한 선형 회귀만으로도 타겟 모델 Key 분산의 56%를 재구성할 수 있었으며, 이는 별도의 신경망 어댑터를 훈련할 필요 없이 수학적인 ‘폐쇄형 릿지 매핑(Closed-Form Ridge Mapping)‘만으로 캐시 변환이 가능함을 시사한다. 이들이 설계한 매퍼는 서로 다른 레이어 수를 가진 두 모델을 매칭하기 위해 타겟 레이어를 가장 잘 예측하는 상위 k개(Top-8)의 소스 레이어를 선택하여 결합하고, 위치 의존적 회전 정보인 RoPE(Rotary Position Embedding)를 제거한 뒤 위치 독립적인 공간에서 매핑을 수행하며, 복잡한 학습 과정 없이 각 레이어와 헤드에 독립적인 선형 맵을 단일 폐쇄형 단계로 해결하는 세 가지 과정을 거친다. 이 기술을 Qwen3, Llama 3.1, Ministral 3 등 세 가지 모델 제품군 내의 6개 쌍에 적용한 결과, 타겟 모델이 처음부터 연산했을 때의 성능을 73%에서 최대 98%까지 유지하면서도 캐시 변환 속도는 컨텍스트를 재연산하는 것보다 무려 2.7배에서 25배까지 빨랐다. 별도의 훈련 과정이 필요 없다는 점에서 상용화 가능성이 매우 높지만, 현재는 동일한 제품군 내에서 KV 헤드 수와 헤드당 차원이 동일한 경우로 한정되어 있어 헤드 구성이 일치하지 않거나 서로 다른 제품군 간의 교차 전송은 향후 연구 과제로 남아있다. 결론적으로 NVIDIA의 기술은 모델 교체 시 이미 지불한 KV 연산 비용이 매몰되지 않고 복구될 수 있음을 증명한 첫 사례로, 대화 도중 자유롭게 모델을 스왑하면서도 문맥 연산 비용을 아낄 수 있어 향후 더욱 정교하고 동적인 다중 모델 오케스트레이션을 가능하게 할 핵심 기술로 평가받고 있다. #KV캐시 #LLM서빙 #NVIDIA연구 #AI비용절감 #KVCache #LLMInference #NVIDIA #AIOptimization #AI #인공지능
- Source: Unknown