DeepInfer 및 DeepSeek-V4.1-Flash: 신뢰도 스케줄링 추론 엔진과 초저비용 코딩 에이전트 아키텍처
1. 핵심 요약 (Executive Summary)
DeepSeek이 대규모 프로덕션 서빙의 핵심 오프라인 추론 스택인 DeepInfer를 오픈소스(MIT)로 공개하고, 이와 결합된 경량 고성능 MoE 모델 **DeepSeek-V4.1-Flash (1017)**를 출시했다.
- DeepInfer: 모든 요청과 토큰에 동일한 연산을 할당하던 기존 서빙 엔진과 달리, 신뢰도 헤드(Confidence Head)와 하드웨어 처리량 비용 모델을 결합한
DSpark투기적 디코딩 스케줄러, 배치 불변 추론(Batch-Invariant Inference), 컴퓨팅 예산 기반 동적 프리필 청킹, 프리픽스 캐시와 연산 배치 분리를 통해 대규모 전문가 병렬화(EP) 환경의 꼬리 지연 시간(Tail Latency)을 제거한다. - DeepSeek-V4.1-Flash (
1017): 활성 파라미터 8B / 16B, 1M(100만) 컨텍스트 윈도우, MIT 오픈 웨이트 모델로, 작업당 평균 USD 0.20의 비용만으로 DeepSWE v1.1 77.0%(Pass@1) 및 **Automation-Bench V1.0.6 60.5%**를 기록하여 수십 배 비싼 플래그십 모델(GPT-5.6 Sol, Claude Opus 5 등)을 추월했다.
2. DeepInfer 추론 엔진 아키텍처
flowchart LR A["요청 배치 유입"] --> B["동적 프리필 청킹<br/>(연산 예산 + HW 비용 모델)"] B --> C["DSpark 투기적 디코딩<br/>(Draft 토큰 생성 + Confidence Head)"] C --> D["신뢰도-처리량 결합 검증 스케줄러<br/>(수락 확률 x 실측 HW 처리량으로 검증 토큰 수 결정)"] D --> E["배치 불변 커널 실행 (TileLang)<br/>(Attention DP + Balanced CP + MoE EP)"] E --> F["구조화 출력 / 결정론적 샘플링<br/>(JSON Schema / Regex / EBNF)"]
2.1 DSpark 투기적 디코딩 및 신뢰도 기반 검증 스케줄링
기존 투기적 디코딩(Speculative Decoding)에서는 고정된 개수의 드래프트 토큰을 검증하거나 레플리카마다 검증 길이가 달라져, 가장 느린 레플리카 하나가 전체 전문가 병렬(EP) 그룹을 대기시키는 스트래글러(Straggler) 병목이 발생했다.
- Confidence-Scheduled Verification:
DSpark는 경량 신뢰도 헤드(Confidence Head)로 각 드래프트 토큰의 수락 확률을 예측하고, 스케줄러가 **예측 수락 확률 + 실측 하드웨어 처리량(Throughput)**을 조합해 요청별로 실제 검증할 드래프트 토큰 수를 동적으로 절단한다. 이를 통해 배치 실행 시간을 균일하게 맞춰 전체 클러스터 처리량을 극대화한다.
2.2 스케줄링 및 라우팅 5대 핵심 설계
- CPU-GPU 완전 비동기 오버랩 스케줄링: CPU 측 배치 스케줄링과 투기적 디코딩 검증 수량 결정을 디바이스(GPU/NPU) 커널 실행과 완벽히 중첩(Overlap)하여 스케줄링 유휴 시간을 제거한다.
- 컴퓨팅 예산 기반 동적 프리필 청킹(Dynamic Prefill Chunking): 고정 청크 크기가 아닌 현재 배치의 연산 예산과 하드웨어 비용 모델로부터 프리필 청크 크기를 매 스텝 동적으로 산출한다.
- 요청 수 + KV 캐시 길이 이중 균형 디코드 라우팅: 단순 활성 요청 수가 아니라 요청별 누적 KV 캐시 길이를 함께 고려하여 디코드 워커 간 메모리 대역폭 부하를 균등 분산한다.
- 프리픽스 캐시와 연산 배치의 분리(Decoupled Prefix Cache): 캐시된 프리픽스의 물리적 위치에 묶여 과부하 노드로 라우팅하는 대신, 프리픽스 캐시 계층을 분리하여 가용 연산 자원이 가장 넉넉한 노드로 라우팅한다.
- 배치 불변 추론(Batch-Invariant Inference) 및 구조화 생성: 함께 묶인 타 요청의 구성이 달라져도 동일 요청에 대해 항상 동일한 수치 결과를 보장하는 배치 불변 커널과 결정론적 샘플링(Deterministic Sampling), JSON Schema·정규식(Regex)·EBNF 문법 제약 디코딩을 기본 내장한다.
- 지원 하드웨어 및 공개 범위: NVIDIA SM100 (Blackwell) GPU 및 Huawei Ascend 950 NPU 최적화를 기본 제공하며, 코어 오프라인 추론 엔진이 우선 오픈소스화되었다(멀티 레플리카 KV 캐시 매니저 및 글로벌 로드밸런서는 후속 분리 구성).
3. DeepSeek-V4.1-Flash (1017) 성능 및 경제성 분석
3.1 주요 코딩·에이전트 벤치마크 비교
| 벤치마크 / 지표 | DeepSeek-V4.1-Flash (1017) | 이전 DeepSeek-V4-Flash | GPT-5.6 Sol | Claude Opus 5 |
|---|---|---|---|---|
| 활성 파라미터 / 라이선스 | 8B & 16B Active (1M ctx, MIT) | 8B/16B Active | 독점 (Closed) | 독점 (Closed) |
DeepSWE v1.1 (Pass@1) | 77.0% (작업당 ~USD 0.20) | 74.2% | 73.0% | 74.0% (작업당 수~20 USD) |
| Automation-Bench V1.0.6 | 60.5% | - | 45.8% | 50.3% |
| Terminal-Bench 4.0 | 42.3% | 31.2% | 39.9% | - |
| Apex Bench v1.1 | 72.1% | - | - | - |
| Agents’ Last Exam | 35.4% | - | - | - |
| API 비캐시 단가 (1M 토큰) | 오프피크 입력 USD 0.15 / 출력 USD 0.60피크 입력 USD 0.30 / 출력 USD 1.20 | 입력 USD 0.15 / 출력 USD 0.60 | 입력 USD 4.00 / 출력 USD 20.00 | 입력 USD 5.00 / 출력 USD 25.00 |
3.2 에이전트 생태계 통합 및 Search & Fetch API
- 자가 피드백 강화학습 기반 풀스택 생성: 단순 함수 수정을 넘어 게임 개발, 3D 모델링 등 엔드투엔드 멀티파일 프로젝트 생성 능력을 자가 피드백 RL로 내재화했다.
- 하네스 네이티브 호환: DeepSeek Harness, 텐센트 CodeBuddy, WorkBuddy에 즉시 플러그인 형태로 결합된다.
- Search & Fetch API 개방: 일 수억 건을 처리하는 DeepSeek 사내 검색 인프라를 **1,000회 호출당
USD 0.75**의 저비용 API로 개방하여, 에이전트의 실시간 웹 탐색 및 문서 페치 비용을 대폭 낮췄다.