프론티어 모델 vs 소형 모델 효율성 분석
핵심 주장 (Claims)
에이전트는 수많은 LLM 호출을 발생시키지만, 그 모든 호출에 값비싼 프론티어(최고 성능) 모델을 사용할 필요는 없습니다. NVIDIA NeMo Switchyard와 같은 라우팅 라이브러리를 사용하면, 어려운 작업에만 프론티어 모델을 할당하고 나머지는 더 작고 저렴한 오픈 가중치 모델로 처리하여 성능은 유지하면서 비용을 대폭 절감할 수 있습니다.
시스템 구조 및 측정 결과 (Architecture & Results)
NVIDIA Switchyard 라우터: 작업의 복잡도에 따라 모델을 동적으로 선택합니다.
- LLM Classifier (에스컬레이션 모드): 모든 작업을 저렴한 모델에서 시작하고, 작은 “판사(Judge)” 모델이 각 턴을 평가합니다. 연속으로 부정적인 평가를 받으면 해당 태스크는 프론티어 모델로 이관(escalation)됩니다.
측정 결과: Deep Agents 평가 스위트(145개 다단계 작업) 테스트 결과:
- Nemotron 3.5 Lightning (30B): 전체 호출의 93%를 처리.
- Claude Opus 4.8 (프론티어): 전체 호출의 7%만 처리.
- 비용 절감: 단일 Opus 사용 대비 비용 74% 절감. (작업당 0.026)
- 정확도: 86.0%(Opus 단독) -> 80.0%(라우팅 적용). 정확도는 소폭 하락했으나 비용 효율성이 매우 높음.
비용 최적화 공식 (Budgeting Formula)
라우터 사용이 유리한지 판단하는 임계값(최소 오프로드 비율)은 다음과 같이 계산합니다:
최소 오프로드 비율 = 판사 모델 비용 / (프론티어 모델 비용 - 저렴한 모델 비용)
두 모델 간의 가격 차이가 커서 판사 모델의 평가 비용을 상쇄하고도 남을 때 라우팅이 효과적입니다. 반대로, 가격 차이가 적거나 지연 시간(latency)이 매우 중요한 워크플로우라면 라우팅이 적합하지 않을 수 있습니다.
API 스펙 (Middleware Integration)
LangChain과 Deep Agents 내부에서 인프로세스로 라우팅을 구현하는 예시:
from deepagents import create_deep_agent
from langchain_openrouter import ChatOpenRouter
from switchyard.libsy import LlmTarget, algorithms
from langchain_nvidia_switchyard import LangChainLlmClient, SwitchyardRoutingMiddleware
efficient_model = ChatOpenRouter(model="nvidia/nemotron-3.5-lightning-30b-a3b")
capable_model = ChatOpenRouter(model="anthropic/claude-opus-4.8")
# 에스컬레이션/스테이지 라우터 설정
router = algorithms.stage_router(
LlmTarget("capable", LangChainLlmClient(capable_model)),
LlmTarget("efficient", LangChainLlmClient(efficient_model)),
picker="efficient_first",
confidence_threshold=0.5,
recent_window=3,
)
# 미들웨어로 주입
agent = create_deep_agent(
model=efficient_model,
middleware=[SwitchyardRoutingMiddleware(router)],
)