2026년 현재 모바일 온디바이스(On-device) LLM 서빙은 실험적 단계를 넘어 프로덕션 표준으로 자리 잡았습니다. 하드웨어 가속기(NPU)의 발전과 효율적인 런타임 프레임워크의 등장이 이를 견인하고 있습니다.
1. 주요 모바일 LLM 프레임워크
프레임워크
주요 특징
성능 지표 (iPhone 17 Pro / S26 Ultra)
Core AI (Apple)
WWDC26 발표. Metal 4 기반 Native Tensor 지원 및 M5/A19 최적화.
~60-75 tok/s (Llama 3.3 8B)
LiteRT-LM (Google)
Gemma 4 최적화, MTP 지원, v0.12.0 NPU Delegation. Swift/WebGPU JS API 및 KV Cache 관리.
~80-110 tok/s (Gemma 4-E2B Decode w/ MTP)
ExecuTorch (Meta)
Llama 4 Scout 최적화. Backend Delegate 가속.
~45-55 tok/s
Transformers.js v4
WebGPU 기본 사용(85% 네이티브 성능), C++ 재작성. 브라우저 내 추론.
~60 tok/s (Llama 3.2 3B)
2. Core AI 집중 분석 (WWDC 2026 업데이트)
2026년 6월 WWDC에서 발표된 Core AI는 기존 CoreML을 완전히 대체하는 제너레이티브 AI 전용 추론 프레임워크입니다.
아키텍처 혁신:
Transformer Native: 어텐션 메커니즘과 트랜스포머 블록에 최적화된 전용 커널(Metal 4)을 탑재하여, 데이터 이동 없는 Zero-copy 추론을 구현했습니다. 특히 Metal 4는 셰이더 내 Native Tensor 타입을 지원하여 연산 효율을 극대화했습니다.
Quantized Tensor Formats: Metal 4는 하드웨어 수준에서 4-bit 및 2-bit weight 압축을 기본 지원하여 LLM의 메모리 점유율을 획기적으로 낮췄습니다. (2026-06-17 업데이트)
3계층 추론 시스템: AFM 3 Core(온디바이스), AFM 3 Advanced(PCC), Global Cloud(Gemini/Claude)를 단일 인터페이스로 오케스트레이션합니다.
coreai-torch: PyTorch 모델을 중간 단계 없이 직접 Core AI 포맷으로 변환하여 개발 생산성을 획기적으로 높였습니다.
성능 (M5 Chip Family 기준):
연산 속도: 소형 모델(Qwen 0.6B 등)에서 MLX 대비 2.47배 빠른 속도를 기록했습니다.
Prompt Prefill: M5 Max 칩에서 20B 규모 모델 기준 초당 2,500 토큰 이상의 프롬프트 처리 속도를 달성했습니다.
3. LiteRT-LM & Gemma 4 집중 분석 (2026.07 업데이트)
2026년 7월 기준 Gemma 4 및 LiteRT-LM 업데이트는 온디바이스 AI의 성능과 범용성을 한 단계 격상시켰습니다.
LiteRT-LM v0.12.0+ (2026.08.27 업데이트):
MTP 기반의 대역폭 한계 돌파: 모바일 프로세서 환경의 LLM 추론은 메모리 대역폭 한계(Memory-bandwidth bound)로 인해 무거운 가중치 데이터 이동 시 레이턴시가 수반됩니다. LiteRT-LM은 Multi-Token Prediction (MTP) 및 **투기적 디코딩(Speculative Decoding)**을 적용하여 이를 원천적으로 극복합니다.
네이티브 MTP 오케스트레이션: Gemma 4 제품군에 특화된 초경량 MTP Drafter 보조 모델을 기동합니다. 이 보조 모델이 단 한 번의 순방향 연산으로 여러 개의 미래 토큰 후보군을 선제적 예측(Speculate)하면, 메인 타깃 Gemma 4 모델이 백그라운드에서 이를 병렬 검증(Verify) 및 확정합니다. 예측 성공 시 1개 생성 시간 동안 여러 개 토큰을 동시 출력하게 되어 품질 저하 없이 최대 2.2x ~ 3.0x의 디코딩 속도 가속을 실현합니다. (E2B NPU 기준 Prefill ~11,000+ tk/s, Decode ~80-110 tok/s).
메모리 지역성 (Memory Locality) 보장: MTP 기법을 통해 2.2x~3x의 극적인 성능 가속을 이끌어내기 위해, LiteRT-LM은 드래프터 보조 모델과 메인 타깃 모델을 동일한 하드웨어 IP(동일 GPU 혹은 동일 NPU 가속 영역) 내부 메모리에 물리적으로 연속 배치하여 IP 간 데이터 전송(Cross-IP Transfer) 오버헤드를 막습니다. shared KV cache 데이터가 프로세서 사이를 왕복하는 데이터 병목을 원천 제거합니다.
모델 획득: Pre-converted .litertlm 형식 모델은 Hugging Face litert-community 조직에서 다운로드하여 오프라인에서 활용할 수 있습니다.
CLI 가동 명령어:
litert-lm run \ --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \ gemma-4-E4B-it.litertlm \ --backend=gpu \ --enable-speculative-decoding=true \ --prompt="What is the capital of France?"
(사용 환경에 따라 --backend 인자를 npu 혹은 cpu로 스위칭 가능)
교차 플랫폼 NPU Delegation:
Android: Qualcomm QNN, MediaTek NeuroPilot, Google Tensor 통합 API 제공. Qualcomm NPU 기기의 경우 AOT 컴파일을 통해 NPU-ready 페이로드를 생성하며, QNN_TARGET_BACKEND_HTP 및 AOT 컴파일 적용을 권장합니다.
Web: WebGPU 가속 기반 JavaScript API 정식 출시. WebNN을 통한 NPU 직접 접근 지원.
NPU 및 MTP 컴파일 이슈: Qualcomm QNN/HTP 등 NPU 델리게이트 최적화가 지속적으로 개선되고 있으나, MTP(Multi-Token Prediction) 투기적 디코딩의 복잡한 연산 그래프 컴파일 실패 리스크가 여전히 상존합니다. 따라서 초기 연산 메모리 로컬리티(GPU VRAM 내 드래프트-타겟 모델 동일 배치) 확보와 호환성 측면에서 GPU 델리게이션이 권장되며, 실패 시 XNNPACK CPU로의 폴백 처리가 요구됩니다. (2026-07-07 업데이트)
3.1 Gemma 4 NPU per-SoC 패키지 매트릭스 (2026-10-02)
베이스 .litertlm은 GPU/CPU 그래프. NPU는 SoC별 별도 파일이 필요하다 (--backend=npu).
모델
공개 NPU 패키지 (litert-community)
갭
Gemma 4 E2B
Tensor G5, Qualcomm SM8750 / QCS8275, Intel Lunar/Panther Lake
Tensor G4(Pixel 9), Qualcomm SM8850, AMD/XDNA 없음
Gemma 4 E4B
(없음 — GPU/CPU + web만)
전 SoC NPU 미공개
Maven/prebuilt만으로 Tensor G5를 붙이면 DISPATCH_OP/Southbound 오류가 나기 쉽다 → 동일 LiteRT-LM 태그에서 runtime+dispatch를 맞춰 빌드. MTP는 CPU/GPU 문서화가 우선; NPU MTP는 SoC 패키지·컴파일 성공 여부를 별도 확인.
3.2 Field note: SM8750 NPU vs generic (2026-10-03)
공개 해부 벤치(S25 Ultra / Snapdragon 8 Elite, 1024 prefill·캐시 warm 조건 아님·참고용):
파일
백엔드
Decode
TTFT
gemma-4-E2B-it.litertlm
CPU/GPU generic
~24.5 tok/s
~366 ms
gemma-4-E2B-it_qualcomm_sm8750.litertlm
QNN/Hexagon V79
~41.7 tok/s (~1.7×)
~92 ms (~4×)
NPU 번들은 QNN 그래프·DISPATCH_OP 때문에 용량↑(~2.8GB vs ~2.4GB). HF card의 Dragonwing IQ8 NPU 표(~31.7 decode)와 장치·컨텍스트가 다르므로 SoC 패키지별로 재측정.
v0.18.x 범위 유지 — EmbeddingGemma 2 · litert-lm import/serve /v1/embeddings · NPU on-demand KV · GPU mask pruning.
#4125 still open (2026-10-31 재확인):gemma-4-E2B-it GPU engine create (Some ops are not accelerated…)는 이슈가 열려 있다(last update 2026-10-22). v0.19.0이 stable 태그여도 해당 모델 GPU 경로는 회귀 확인 전 0.18.1을 핀할 수 있다. CPU 백엔드는 같은 구간에서 로드된다.
#4125 still open (2026-11-07 재확인):gemma-4-E2B-it GPU engine create 회귀는 open(last update 2026-11-06). v0.19.0에서 user response 요청 후 다시 developer awaiting. generic GPU E2B 경로는 회귀 확인 전 0.18.1 핀 가능. Artisan multimodal 경로와 #4125 축은 별개로 본다.
3.5 Watch: PyPI litert-lm 0.19.2 (no GitHub tag yet, 2026-11-17)
GitHub releases/tags tip은 여전히 v0.19.1. PyPI litert-lm 0.19.2 (2026-11-13)는 watched — GH v0.19.2 태그·릴리스 노트 확인 전 tip 핀을 올리지 않는다. wiki tip 정본 = GitHub release tag.
- **NPU Delegation 실전 예제**:
LiteRT-LM API를 사용하여 NPU 가속 및 MTP를 적용하는 파이썬 코드는 다음과 같습니다.
```python
import litert_lm
# NPU 백엔드를 명시적으로 지정하여 엔진 초기화
with litert_lm.Engine("path/to/gemma-4.litertlm", backend=litert_lm.Backend.NPU()) as engine:
with engine.create_conversation() as conversation:
# 엔진은 MTP 아키텍처가 포함된 모델 패키지일 경우 자동으로 speculative decoding 가속을 활성화함
for chunk in conversation.send_message_async("온디바이스 가속 기법에 대해 설명해줘"):
print(chunk["content"][0]["text"], end="", flush=True)
```
- **저메모리 적용 기법 (Low Memory Techniques)**:
- **고급 양자화**: INT4 Weight-only (W4A16) 및 Mixed Precision(2/4/8-bit) 지원. KV-cache Quantization(INT8/INT4)을 통해 롱 컨텍스트 처리 시 메모리 사용량을 최대 75% 절감합니다.
- **Paged KV Cache**: 페이지 기반 동적 메모리 할당으로 메모리 파편화를 방지하고 가용 RAM 사용 효율을 극대화했습니다.
- **Dynamic LoRA Switching**: 베이스 모델 공유 기반의 실시간 LoRA 어댑터 교체 기능을 통해, 메모리 추가 점유 없이 멀티태스킹이 가능합니다.
- **Per-Layer Embeddings (PLE)**: 레이어별 임베딩 관리로 초기 모델 로딩 속도와 mmap 효율을 개선했습니다.
- **상태 관리**: KV Cache 상태 저장 및 복구 기능을 공식 지원하여 긴 대화 세션의 재개 비용을 최소화했습니다.
- **Constraint Decoding**: `LLGuidance` 라이브러리 통합으로 JSON Schema, Regex, Lark Grammar를 런타임 수준에서 100% 준수 강제.
- **모델 패키징 및 통합 (`.litertlm` 포맷)**: 모델 가중치, 토크나이저, 메타데이터뿐만 아니라 **MTP Drafter 보조 모델까지 단일 `.litertlm` 형식 패키지로 번들링**하여 통합 구성할 수 있습니다. 이를 통해 복잡한 크로스 디바이스 데이터 전송 및 메모리 오버헤드를 원천 차단하고 런타임 탑재 과정을 획기적으로 단순화했습니다.
- **실전 프로덕션 적용**: Chrome 브라우저 내장 AI, Chromebook Plus, Pixel 기기군(Pixel Watch 포함)의 백엔드 온디바이스 추론 엔진으로 활용되어 서비스 연동이 완료되었습니다.
iSWA (Interleaved Sparse-Dense Attention): 희소 어텐션과 밀집 어텐션을 교차 배치하여 VRAM 사용량을 획기적으로 줄이는 신규 아키텍처를 채택했습니다.
Encoder-free 멀티모달: Vision/Audio 인코더 없이 LLM 백본에 직접 투영하는 통합 아키텍처로 지연 시간와 메모리 사용량 최소화.
Thinking Mode: 추론 과정에서 단계별 사고(Chain-of-Thought)를 수행하는 네이티브 모드 탑재.
Gemma 4 31B 실시간 음성 대화 및 Cerebras 추론 가속 (2026.07.05 업데이트): Gemma 4 31B 기반 실시간 멀티모달 보이스 앱(Voice App) 오픈소스 스택이 공개되었습니다. OpenAI Realtime API의 드롭인 대체(drop-in replacement) 규격을 만족하며, Cerebras의 초고속 추론 가속(Ultra-fast inference) 백엔드를 연동해 지연 시간이 거의 없는 실시간 음성 응답을 보장합니다. 카메라를 통한 실시간 Vision 이해와 웹 검색(Serper 연동 등)이 가능합니다. 단, “Yes”, “No”와 같은 극단적으로 짧은 발화가 누락되지 않도록 최소 VAD(Voice Activity Detection) 튜닝이 요구됩니다. wiki/Models/Optimization-and-Serving/스마트폰-환경의-LLM-서빙-기술-2026.md
4. 핵심 최적화 기술
1) 하드웨어 가속 및 웹 표준
WebGPU & WebNN: WebGPU는 모든 주요 브라우저(Chrome, Edge, Firefox, Safari)에서 디폴트 활성화되어 70% 이상의 지원율을 기록하며, 네이티브 대비 80~85% 성능으로 1B~8B 매개변수 모델을 원활히 지원합니다. WebNN은 DirectML, CoreML, NNAPI 등 로컬 OS 가속기에 매핑되어 GPU 연산 대비 전력 소모를 획기적으로 줄이는 NPU 직접 접근 게이트웨이 역할을 수행합니다.
WebLLM: OpenAI 호환 API를 온디바이스 상에서 완벽히 제공하는 고성능 브라우저 추론 엔진으로, Llama 3, Phi 3, Gemma 등 최신 모델군을 streaming 및 structured output (JSON mode)과 함께 즉시 적용하는 drop-in replacement 규격을 지원합니다. v0.2.87(2026-10-30)은 v0_2_87 카탈로그 + TVM 0.28.0-dev1, Gemma 4 q4f32 prefill·sliding-window KV 수정 — WebLLM-Engine.md.
WebMCP: 웹 환경 전용 Model Context Protocol (WebMCP)의 등장으로 브라우저 내 에이전트가 웹사이트 상의 기능, 폼, API 도구를 자율 조작할 수 있는 표준 인프라가 확보되었습니다.
모바일 브라우저 메모리 제약 및 캐싱 (OPFS & IndexedDB): 모바일 브라우저 환경에서는 프로세스당 가용 RAM이 대략 1~4GB 내외로 제약되므로 구동 모델 크기는 8B 이하(양자화 기준)로 엄격히 제한됩니다. 또한 네트워크 대용량 다운로드 병목을 막기 위해 가중치를 영구 캐싱해야 합니다.
IndexedDB: 세션 데이터 및 소형 RAG 메타데이터의 비동기 저장에 쓰입니다.
OPFS (Origin Private File System): WebLLM 등에서 널리 도입되어 대용량 바이너리 블롭(Model Weight)을 고성능 비차단 파일 입출력으로 다루며, 기존 데이터베이스 구조 대비 로딩 속도와 읽기 효율을 크게 극대화합니다.
NPU 중심 추론 및 신규 엔진: Apple A19 Pro, Snapdragon 8 Elite 등 최신 NPU를 타겟으로 하며, wllama(llama.cpp 기반) 및 WeInfer 같은 경량 엔진들이 dispatch 오버헤드를 제어하여 성능 간극을 좁히고 있습니다. TTFT(Time-to-First-Token) 200ms 미만을 달성했습니다.
2) 추론 가속 전략
투기적 디코딩 (Speculative Decoding): 작은 드래프트 모델(예: SmolLM2 135M)이 토큰을 예측하고 큰 모델(예: 3B)이 검증하는 방식으로, 체감 속도를 1.5~2.0배 향상시킵니다.
Chunked Prefill: 대규모 입력을 작게 나누어 처리함으로써 초기 응답 시간(TTFT)을 단축하고 앱 반응성을 유지합니다.
5. 하이브리드 서빙 모델 (Local-First)
2026년의 주요 앱들은 Local-First 전략을 채택합니다.
Edge(Local): 요약, UI 제어, 개인화 검색 등 전체 작업의 약 80%를 온디바이스 모델(Core AI/ExecuTorch)이 처리합니다.
Cloud: 고도의 추론이나 방대한 지식이 필요한 작업만 클라우드 모델(GPT-5, Claude 4 등)로 에스컬레이션합니다.
6. LiteRT-LM 크로스플랫폼 API 확장 (2026-07-11 PM 업데이트)
Google AI Edge는 LiteRT-LM에 Swift, JavaScript, Flutter API를 추가하여 Android/iOS/Web/Desktop/IoT에서 동일 오케스트레이션 파이프라인을 제공합니다. Gemma-4-E2B는 Samsung S26 Ultra GPU 기준 Prefill 3,808 tk/s, Decode 52 tk/s, TTFT 0.3s를 기록합니다.
Web 디코드: MacBook Pro M4 Max WebGPU에서 Gemma 4 E2B ~76 tok/s (MTP off 보고치).
Session save/restore: KV cache 직렬화로 재방문 시 heavy prefill 생략 → AI Edge Gallery Agent Skills의 장시간 세션 연속성에 사용.
MTP 메모리 로컬리티: drafter+target을 동일 IP(GPU)에 고정해 cross-IP 전송을 제거하는 것이 2.2x 가속의 전제.
Windows 네이티브 CLI (v0.11.0, 2026-05-07): LiteRT-LM CLI가 Windows에서 CPU·GPU 백엔드 모두 네이티브 실행을 정식 지원하기 시작했습니다(데스크톱 실험·프로토타이핑 경로 확대). 같은 릴리스에서 Gemma 4 MTP가 정식 탑재되었습니다. (v0.11.0 릴리스)
Android에서 CLI·Python 직접 실행: aarch64/x86_64에서 Termux 또는 BeeWare 패키징으로 litert-lm CLI·Python API 사용 가능. (CLI, Python)
Tool calling 스트리밍: C/Swift API에서 tool-call 토큰 실시간 스트리밍, LiteRT-LM.js 전체 tool calling, reasoning/thinking 채널 지원 → 브라우저·네이티브 공통 에이전트 루프 설계 가능.
멀티모달 자동 백엔드: CLI run/serve가 audio·vision 모델에 대해 백엔드를 자동 선택하고, NPU·GPU audio 가속을 제공.
# Android(Termux 등)에서 Gemma 4 E2B 빠른 스모크litert-lm run \ --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \ gemma-4-E2B-it.litertlm \ --prompt="Summarize on-device tool calling"# audio/vision은 백엔드 자동 선택; 필요 시 --backend=npu|gpu|cpu 고정
구현 팁: Android NPU는 TF_LITE_AUX(QNN 페이로드) 부재 시 SIGKILL/SIGSEGV가 날 수 있으므로 NPU 시도 → GPU(OpenCL/MLDrift) → CPU(XNNPACK) 폴백을 앱 레이어에 고정한다.
LiteRT-LM main (2026-07-17) — Swift 디코드 제어 · NPU seqlen · CLI deps
정식 번호 릴리스는 아직 없고, v0.14.0 / v0.15.0-alpha0 이후 main 커밋이 iOS·NPU 운영 품질을 보강합니다.
Swift 디코드 제어: NoRepeatNgramConfig, RepetitionPenaltyConfig, maxOutputTokens가 Swift API에 추가되어 반복 억제·응답 길이 상한을 네이티브 Conversation 설정으로 고정할 수 있습니다.
NPU max sequence length 보고: .litertlm 메타데이터에 max seqlen이 없는 모델이 불투명한 KV-cache update out of range로 죽던 문제를, executor 생성 시 Engine에 한도를 전달해 prefill 초과 시 명확한 에러로 바꿉니다. 앱에서는 catch 후 GPU/CPU 폴백 또는 컨텍스트 truncate를 선택할 수 있습니다.
// iOS: 반복 억제 + 출력 상한 (개념 예시 — main tip 기준 API명)let config = ConversationConfig( noRepeatNgram: NoRepeatNgramConfig(/* n */), repetitionPenalty: RepetitionPenaltyConfig(/* penalty */), maxOutputTokens: 512)let conversation = try await engine.createConversation(with: config)
LiteRT-LM main (2026-07-18) — SuppressTokens · CLI help 그룹 · per-op profiling
번호 릴리스는 여전히 v0.14.0이 최신이며, 당일 main 커밋이 iOS 디코드 제어와 CLI UX를 한 단계 더 보강합니다.
SuppressTokensConfig: 생성 중 특정 토큰 ID 목록을 억제. Conversation.sendMessage / 스트림 경로에 suppressTokensConfig로 전달. [1,2,3] 등으로 단위 테스트됨. 전일 NoRepeatNgram/RepetitionPenalty/maxOutputTokens와 함께 네이티브 디코드 가드레일 세트를 완성한다.
CLI help 섹션화: litert-lm --help가 Inference / Model Management / Builder(LiteRT-LM File)로 run·serve·benchmark·list·pack 등을 묶는다.
Vision executor encoder-agnostic: 기존에는 encoder 입력이 2개일 때만 ViT(image patches + positions_xy)로 가정했습니다. 이제는 첫 입력을 항상 image patches로 보고 positions_xy를 옵션으로 처리해 **ViT(2-input)**와 **single-input(LFM2 VL)**를 동일 경로로 돌립니다.
NPU prefill 길이 동적 해석: prefill_128 하드코딩 대신, 컴파일된 모델 시그니처에서 prefill/embedder/mask/rope/cache_update 패밀리를 실제 컴파일 길이로 resolve합니다. NPU AOT 번들의 seqlen이 128이 아닐 때 깨지던 경로를 줄입니다.
# 설계 힌트 (앱/패키징)# - LFM2.5 VL: single-input vision encoder → positions_xy 없음# - ViT 계열: patches + positions_xy# - NPU .litertlm: 고정 prefill_128 가정 금지 → 시그니처에서 prefill_* 길이 읽기
연계: --gpu-decode-steps-per-sync를 run+config에 노출(5f43d8a); --ringbuffers-local-attention을 hidden CLI로 전환(4090766, serve 기본 ON 유지); StateInterface로 KV/state 관리 추상화(5df0c42); Apple FM adapter 멀티모달 merge(091d175).
적용 팁: 모바일 에이전트 A/B는 --config로 프로필을 분리하고, thinking 모델은 OpenAI 프록시가 reasoning_effort를 안 넘기더라도 config 폴백으로 예산을 고정한다. 비전 인코더 경로는 AttentionMaskPolicy를 vision bidirectional로 맞춘 뒤 TTFT를 재측정한다.
LiteRT-LM main (2026-07-23) — ASR Asynchronous API
# CPU 백엔드: YNNPACK + 스레드 수 고정litert-lm run model.litertlm --backend=cpu \ --enable_ynnpack=true --num_cpu_threads=4# 활성 정밀도 프로필 (config.json)# { "activation_data_type": "fp16" }litert-lm serve model.litertlm --backend=gpu --config=/tmp/litert-fp16.json
적용 팁: 엣지 CPU A/B는 YNNPACK·스레드를 고정한 뒤 TTFT/decode를 재측정하고, 긴 컨텍스트는 KV-capacity 제약이 prefill 청크를 줄이는지 로그로 확인한다. 모바일 배터리 시나리오에서는 int8/fp16 activation을 바꿔 발열·품질 트레이드오프를 본다.
LiteRT-LM Omni (2026-07-25) — ASR/TTS Session + AsyncStageScheduler
EOS: async 경로에서 OutOfRange 시 merger/vocoder Flush() 후 콜백. 스케줄러 정지는 3초 타임아웃.
// TTS 동기 한 스텝 (개념)TtsSession::Create({.text_source=..., .text_frontend=..., .acoustic_predictor=..., .latent_decoder=..., .vocoder=...});auto out = session->ProcessNextChunk(); // Vocoder::AudioOutput or OutOfRange// ASR 비동기 스트림session->ProcessAsync(pool, [](StatusOr<TextMerger::MergeResult> r) { // UI/에이전트 큐로 전달; AlreadyExistsError면 이미 실행 중 return absl::OkStatus();});
적용 팁: Gallery 음성 대화는 ASR Session → LLM → TTS Session을 같은 ThreadPool에 묶되, 세션 Reset()으로 턴 경계를 친다. 스트리밍 ASR는 Levenshtein merger의 unconfirmed 단어를 UI partial로 쓰고, EOS Flush로 확정 텍스트만 프롬프트에 넣는다.
LiteRT-LM main (2026-07-27) — Audio embeddings · state metadata dynamism · embedding builder
당일 main 커밋으로 오디오 임베딩 훅·동적 모델 판정·Python 빌더 메타데이터가 보강되었습니다.
Audio embeddings callback (95f9e5dd): SessionConfig::AudioEmbeddingsCallback = absl::AnyInvocable<void(const ExecutorAudioData&) const>. Prefill(Serial/Threaded ExecutionManager)에서 ProcessAndCombineContents 후 GetAudioDataPtr()가 있으면 콜백 호출.
Executor state metadata로 dynamism 판정 (61d24058): IsDynamicModel(ModelResources&)가 GetExecutorMetadata()의 llm_executor_metadata().state_buffers()를 우선 사용. 메타데이터 없으면 기존 prefill signature KV/seqlen 검사로 폴백.
# 임베딩 메타데이터가 포함된 litertlm 검사 (빌더/peek)python -m litert_lm_builder.litertlm_peek path/to/model.litertlm
적용 팁: Gallery 음성→LLM 파이프라인에서 ASR 임베딩을 재사용하려면 SessionConfig 콜백으로 prefill 직전 ExecutorAudioData를 캡처한다. NPU 미사용 CPU/GPU 전용 프로파일은 plugin dir 미설정으로 기동 오류를 줄인다. 동적 KV 모델은 executor metadata의 state_buffers가 있으면 signature 휴리스틱보다 메타데이터를 신뢰한다.
# 임베딩 전용 CLI (빌드 산출물)./embedding_litert_lm_main --model=test_embedding.litertlm --normalize
적용 팁: Gallery/에이전트 RAG 훅은 Session audio-callback과 EmbeddingEngine을 분리한다 — 전자는 LLM prefill 경로, 후자는 독립 임베딩 서빙. ASR 회귀는 mic 대신 FileAudioSource로 고정 웨이브폼을 넣고 WebGPU 백엔드는 07-28 sync 패치 이후 단일 KV 입력 경로를 재측정한다.
LiteRT-LM main (2026-07-29) — OpenCL GPU input · NPU UAF · omni litert ns
OpenCL GPU input handling (69232046): OpenCL 경로에서 GPU 입력 핸들링 강제 시 로그 — WebGPU(07-28)에 이어 OpenCL/MLDrift 폴백 체인 정합.
NPU Environment::Create UAF 수정 (83734f49): NPU Environment 생성 시 use-after-free heap corruption 제거.
omni namespace (209c470b): omni 경로 litert_lm → litert 네임스페이스 정렬.
벤치 시계 (dce039df): 하이퍼바이저/WSL에서 absl::Now 드리프트 회피용 monotonic clock.
# GPU single-buffer Session Restore 회귀# 1) GPU backend + single buffer cache로 세션 생성# 2) 프로세스 재기동 후 state restore → decode 연속성 확인# ASR: Moonshine/Qwen3-ASR StatelessDecoder 경로 smoke
적용 팁: 모바일 Session Restore는 GPU single-buffer 경로(b6b91bb8)를 우선 검증한다. NPU lock 패치는 부분 revert가 있으므로 a88ee86d/e9bcf61d 히스토리를 함께 본다. ASR 에이전트는 SpeechRecognizer+StatelessDecoder로 mic/FileAudioSource를 통일한다.
LiteRT-LM main (2026-07-31) — graph tensor callbacks · mmap embedding · TdtDecoder · MiniCPM5 C++
Pre/post-run graph tensor callbacks (f6c83eff): 모델 그래프 tensor buffer에 실행 전·후 콜백 — 디버그·커스텀 전처리 훅.
적용 팁: 온디바이스 임베딩 파이프라인은 mmap으로 RSS를 먼저 낮추고, MTP/에이전트 루프 디버그는 graph tensor pre/post 콜백으로 맞춘다. MiniCPM5는 C++ processor(9cc919a3)와 채팅 템플릿을 함께 묶는다.
LiteRT-LM main (2026-08-01) — AsrEngine · benchmark ringbuffer auto
AsrEngine (529cf97): 모델 로드·토크나이저·AsrSession 생성을 한 엔진으로 묶음. AsrEngineConfig에 DecoderType(kCtc/kTdt/kStateless), Backend(kCpu/kGpu/kNpu), 16 kHz·5 s 입력 창, TDT decode 토큰 ID, cache_dir. asr_runner CLI로 회귀 테스트. TdtDecoder 버그픽스 포함.
Benchmark ringbuffer auto-enable (df73046): litert-lm benchmark가 모델이 지원하면 --ringbuffers-local-attention을 자동 ON (benchmark.py).
# ASR 엔진 스모크 (개념)asr_runner --model_path=/path/to/asr.litertlm --backend=cpu# 벤치: 지원 모델이면 ringbuffer local attention 자동litert-lm benchmark path/to/model.litertlm --backend=gpu
적용 팁: Gallery 음성→LLM 파이프라인은 AsrEngine::Create → AsrSession으로 mic/FileAudioSource를 통일하고, TDT 경로는 529cf97 이후 TdtDecoder로 재측정한다. 벤치 SLO는 ringbuffer 자동 ON을 전제로 TTFT/tok/s를 잡고, 품질 회귀 시 플래그를 명시 OFF한다.
LiteRT-LM main (2026-08-02) — SWA mask × ringbuffer (NPU)
테스트: HWMaskUpdateSWADecode_TimestepSmallerLocalWindow 등 — local capacity 512(+batch), global 4096(+batch), time_step < local window 케이스 분리.
# ringbuffer local attention ON + NPU 경로에서 SWA 마스크 회귀litert-lm benchmark path/to/model.litertlm --backend=npu# (지원 모델) serve 기본 ringbuffer local attention 유지; 마스크 깨짐 시 d9f192b 이후 빌드 확인
적용 팁: NPU에서 ringbuffer+SWA를 쓰는 온디바이스 빌드는 d9f192b 이후인지 확인하고, local/global 마스크 텐서 shape(capacity+batch) 불일치로 HW mask update가 실패하지 않는지 유닛 디코드부터 본다. CLI --ringbuffers-local-attention·벤치 자동 ON(08-01)과 함께 묶는다.
LiteRT-LM main (2026-08-03) — C API split · CPU threads=4 · audio soft tokens
C API conversation / engine-lite 분리 (d3a04ada): c/conversation.*와 c/engine.* 타깃을 분리. 임베딩·경량 런타임은 conversation 오케스트레이션 없이 engine-lite만 링크.
CPU threads 기본값 4 (7568c301): 런타임 기본 스레드 수를 4로 고정. 저코어 폰/벤치 재현 시 명시 오버라이드와 비교.
1536-dim unprojected audio soft tokens (557024ef): Audio compiled-model executor가 ExecutorAudioData 콜백으로 미투영 1536차원 soft token을 공유. ASR→LLM 어댑터가 executor 내부 재투영 없이 소비 가능 (audio_litert_compiled_model_executor.*, llm_executor_io_types.*).
# CPU 기본 4스레드 가정 벤치 (오버라이드 전후 tok/s 비교)litert-lm benchmark path/to/model.litertlm --backend=cpu# 음성 파이프라인: AsrEngine/AsrSession(08-01) + soft-token 콜백(08-03) 이후 빌드 확인
적용 팁: Gallery/임베디드 C 바인딩은 conversation 불필요 시 engine-lite만 링크해 바이너리 크기·심볼을 줄인다. 음성→LLM은 557024ef 이후 soft-token shape(1536)와 다운스트림 projection이 이중으로 돌지 않는지 확인한다. CPU SLO는 기본 4스레드를 베이스라인으로 잡고, big.LITTLE에서 스레드를 올리면 스케줄 지터를 같이 본다.
Apple FM Adapter: Apple Foundation framework 백엔드를 LiteRT-LM에 네이티브 통합 — Gemma 4 텍스트·비전/오디오. 동시 engine init re-entrancy 수정.
CLI config.json: 글로벌/모델별 기본값(백엔드·thinking budget·context). 우선순위: Runtime args > model config > global defaults > model metadata > engine fallbacks (CLI Configuration).
LiteRT-LM.js: Gemma 4 12B / 26B-A4B / 31B web .litertlm 공식 지원; use_autosized_ringbuffers; AutoToolChat이 모델이 emit한 tool call을 자동 실행.
0.16.0 디코드 경로 (main): StatelessDecoder start/skip-until tokens(d82d9d89); Bank 2 KV create_and_init_output_buffers(932d8b93); EOS 잔여 텍스트 flush(5cf3986a); prefill signature는 compiled model 생성 후 읽기(2af51411).
# 모델별 기본값을 config로 고정 후 런타임만 오버라이드litert-lm serve path/to/gemma4.litertlm --config=~/.litert-lm/config.json --backend=gpu
적용 팁: 웹 에이전트는 AutoToolChat+autosized ringbuffer로 롱컨텍스트 tool 루프를 잡고, iOS/mac는 FM adapter와 기존 Metal/NPU 경로의 TTFT를 분리 측정한다. 디코더 EOS 잘림이 보이면 5cf3986a 이후 빌드인지 확인한다.
Message.reasoning_content (f6eeb405): thinking/reasoning 채널을 별도 필드에 적재 — UI·에이전트가 content와 분리 소비.
Prefill KV 입력 (ab66b04d): local KV cache 버퍼를 prefill 입력으로 전달.
임베딩 executor (976fa405): 다중 signature + buffer caching.
ASR 정렬: Parakeet CTC frame fix(a065a76f), overlap ratio 플래그(02e9b3db), timestamp+Levenshtein align(583aa142).
# reasoning 필드를 노출하는 빌드인지 Message 스키마 확인 후 UI 바인딩# TTS: Frontend → AcousticPredictor → Vocoder/LatentDecoder 스테이지 순서 고정
적용 팁: 온디바이스 에이전트 UI는 content와 reasoning_content를 분리 렌더한다. 음성 합성 데모는 Qwen3-TTS 스테이지 체인 커밋 이후 빌드를 핀하고, ASR→텍스트는 Levenshtein align+overlap ratio로 WER/지연을 재측정한다.
MTP/임베딩/비전 external weight (a414022e, 55c2bc31, 172ab84d): drafter·embedder·vision encoder가 외부 weight를 소비; EmbeddingLookup는 litert::CompiledModel에서 생성 가능.
// 개념: 공통 컨텍스트 prefill → Clone으로 분기 → TextScoring으로 후보 비교// CachedSession::RunPrefill(full_prompt);// auto branch = cached.Clone();// auto scores = cached.RunTextScoring({"option A", "option B"}, /*store_token_lengths=*/true);// cached.Reset(); // 다음 세션
적용 팁: 멀티턴 앱은 suffix 추적을 직접 하지 말고 CachedSession에 full prompt를 맡긴다. 평가/리랭크는 decode 대신 RunTextScoring으로 TTFT를 아낀다. MTP·비전 파이프라인은 external weight 커밋 이후 빌드에서 drafter/encoder 가중치 경로를 분리 배포한다.
LiteRT-LM v0.16.0 태그 — C API prebuilts · experimental YNNPACK (2026-08-11)
버전드 C API 공유 라이브러리 prebuilt (전 플랫폼): litert_lm_c_api-0.1.0.zip, CLiteRTLM.xcframework.zip, CLiteRTLM_mac.xcframework.zip. 소스에서 shared lib를 빌드하지 않고 네이티브 바인딩을 붙일 수 있다. conversation 불필요 시 engine-lite만 링크하는 축과 맞춘다.
Experimental YNNPACK delegate: YNNPACK. LiteRT-LM CLI·Python에서 linux arm64 빌드에 활성화. 기존 XNNPACK CPU 경로와 이름을 혼동하지 말 것 — 실험 플래그·플랫폼을 벤치에 명시한다.
# linux aarch64: 실험 YNNPACK delegate가 켜진 CLI/Python 빌드인지 확인 후 tok/s 비교litert-lm benchmark path/to/gemma4.litertlm --backend=cpu
적용 팁: 앱 바인딩은 태그 아티팩트의 C API zip/xcframework를 핀하고, arm64 서버/보드 벤치는 YNNPACK delegate on/off를 따로 잰다. 웹/iOS FM adapter는 v0.15.0 축 — 이 태그의 C prebuilt와 섞어 버전을 보고하지 않는다.
LiteRT-LM v0.16.1 — Windows JVM only (ALREADY_COVERED 기능 claim)
v0.16.1(2026-08-18): Windows JVM crash 수정·Kotlin/Maven/Windows 빌드 플래그만. git commit은 v0.16.0과 동일 → C API prebuilt·YNNPACK·MTP/CachedSession 기능 claim은 v0.16.0 절과 동일(추가 합성 없음).
에이전트 연동: OpenAI 호환 클라이언트·로컬 에이전트(OpenClaw/Hermes/OpenCode/Continue/Aider 등)의 base_url을 http://localhost:9379/v1로 두고 model을 레지스트리 alias(gemma4-12b)로 지정. 일부 데모는 gemma4-12b,gpu처럼 백엔드 suffix를 model 문자열에 붙인다.
Swift: 패키지가 macOS + iOS 동시 지원(온디바이스/노트북 에이전트와 같은 스택 축).
적용 팁: path 인자 serve model.litertlm 경로와 레지스트리 import→pathless serve 를 혼동하지 말 것. 멀티툴 에이전트는 먼저 GET /v1/models로 alias 존재를 확인한다. MTP(--enable-speculative-decoding)는 run/Engine 경로 — OpenAI serve 기본 플래그와 별도로 벤치한다.
문서의 --enable-speculative-decoding=true(CLI) / Engine enable_speculative_decoding(Swift/C++)는 런타임 스위치일 뿐이다. 실제 MTP는 .litertlm 안에 TF_LITE_MTP_DRAFTER 섹션이 있을 때만 동작한다 (CLI MTP, 이슈 #2498).
점검
명령/증상
패키지 능력
litert-lm-peek gemma-4-12B-it.litertlm — audio encoder는 있어도 MTP drafter 없음이면 speculative=false
강제 실패
litert-lm run … --enable-speculative-decoding=true → NOT_FOUND: TF_LITE_MTP_DRAFTER not found in the model
현행 타깃
E2B/E4B 등 drafter 포함 패키지에서 MTP 벤치·UI 노출. 12B audio-capable(litert-community/gemma-4-12B-it-litert-lm)은 비-MTP(audio→text) 경로만 가정
LiteRT-LM v0.17.0 / v0.17.1 — local attention · Metal residency · Gemma 4 12B (2026-09-20)
v0.17.0(2026-09-09, e9fd8c5)은 v0.16.1(Windows JVM 플래그만) 이후 첫 기능 태그다.
Optimized local attention: 메모리 오버헤드를 줄이고 더 긴 컨텍스트를 연다. 2026-07-21 use_ringbuffers_local_attention 축의 후속 — 장문 세션은 ringbuffer/local attention을 켠 빌드에서 피크 메모리를 다시 잰다.
Apple Silicon Metal residency: Metal에 상주(residency)를 둬 Apple 디바이스 추론을 끌어올린다. Swift/Metal 경로(M 시리즈·iOS GPU) 벤치 시 v0.16 C prebuilt와 섞지 말고 0.17 xcframework(CLiteRTLM.xcframework.zip, CLiteRTLM_mac.xcframework.zip)를 핀한다.
Gemma 4 12B 확장: 릴리스 노트는 12B에 멀티모달 + MTP + 확장 컨텍스트를 넣었다고 적는다. 2026-08-31 peek 함정(audio 12B 패키지에 TF_LITE_MTP_DRAFTER 없음)은 그 시점 HF 스냅샷에 대한 규칙이다. 런타임만 0.17로 올리고 예전 .litertlm을 재사용하면 drafter는 생기지 않는다. 업그레이드 후 litert-lm-peek으로 drafter·오디오 인코더를 다시 확인한 뒤에만 --enable-speculative-decoding을 켠다.
v0.17.1(태그, 2026-09-16, 5e58e9a): tool call 정수 타입 버그 수정(f300c4f)만. 서빙 아키텍처 claim은 v0.17.0과 같다. 에이전트 tool-call 정수가 깨지면 0.17.0에 머물지 말고 0.17.1로 올린다.
# 0.17 라인으로 올린 뒤, 12B MTP는 peek가 drafter를 보여줄 때만litert-lm-peek gemma-4-12B-it.litertlmlitert-lm run model.litertlm --backend=gpu --enable-speculative-decoding=true
6.3 Google AI Edge Gallery & WASM 3.0 완결 (2026-07-14 업데이트)
레퍼런스 앱 쇼케이스: Google AI Edge Gallery 모바일 레퍼런스 앱이 Android 및 iOS 공식 배포 가이드로 자리 잡았습니다. 로컬 Gemma 4 모델(E2B, E4B)을 탑재하여 오프라인에서 음성 대화, 도구 호출(Tool Calling), 멀티모달(Vision/Audio) 연산을 수행하는 구조를 시연하며, Speculative Decoding(MTP) 및 NPU 델리게이션을 통한 최대 2.2배 성능 향상 실사례를 제공합니다.
WASM 3.0 / Memory64 패리티 (2026-08-28 정정): Chrome/Edge·Firefox는 Memory64로 4GB 한계를 넘기지만 Safari/iOS Safari는 2026-08 기준 미지원(§브라우저 WASM·wiki/Models/Optimization-and-Serving/브라우저-기반-LLM-서빙-기술-및-아키텍처-2026.md). Multiple Memories·WasmGC는 엔진별 단계 도입; >4GB 부하는 Chromium/Firefox + wllama64 경로를 우선한다.
Google AI Edge의 코어 런타임인 LiteRT v2.2.0이 정식 릴리스되며 GPU 정밀도 모드와 NPU 아키텍처 지원이 대폭 강화되었습니다.
kLiteRtDelegatePrecisionFp16WithFp32Accum 모드 (GPU):
GPU 백엔드에서 CONV_2D, DEPTHWISE_CONV_2D, FULLY_CONNECTED, TRANSPOSE_CONV, BATCH_MAT_MUL 주요 텐서 연산 시 FP16 저장 및 연산을 수행하면서도 **FP32 누산(accumulation)**을 유지합니다.
순수 FP16의 수치적 언더플로우/오버플로우 위험을 방지하고 FP32 대비 고속 연산 이점을 취하는 하이브리드 수치 정밀도를 보장합니다.
ROPE Composite Ops 추가:
GPU 백엔드에 RoPE(Rotary Positional Embedding) 합성 연산자(composite ops)가 탑재되어, LLM 디코드(Decode) 성능이 기존 대비 약 5% 향상되었습니다.
Intel Lunar Lake & Panther Lake NPU Full JIT/AOT 지원:
기존 OpenVINO 래핑 수준을 넘어, LiteRT 런타임 단에서 Lunar Lake(NPU 4) 및 Panther Lake(NPU 5) 하드웨어에 대한 Full JIT/AOT 컴파일 가속을 공식 제공합니다.
Qualcomm 및 MediaTek 확장:
Qualcomm QAIRT SDK 2.47 통합으로 최신 Snapdragon SoC 커버리지를 개선하고, MediaTek 칩셋에 대한 채널별 양자화(Channel-wise Quantization) 지원을 강화했습니다.
Rust 생태계 진입 (google-ai-edge-litert):
crates.io에 google-ai-edge-litert 공식 크레이트가 등록되어 Rust 기반 온디바이스 에이전트 및 CLI 환경에서 LiteRT C++ SDK 기능을 직접 호출할 수 있습니다.
네이티브 FP8 데이터 타입 지원:
F8E4M3FN 및 F8E5M2 텐서 요소를 런타임 레벨에서 기본 지원하며, CPU 백엔드용 실험적 YNNPack 가속기가 추가되었습니다.
적용 팁: 모바일 GPU 서빙 시 수치 정밀도 불안정으로 인한 출력 품질 저하가 발생할 경우 kLiteRtDelegatePrecisionFp16WithFp32Accum 플래그를 활성화하고, Intel AI PC 배포 시에는 OpenVINO 외에도 LiteRT 2.2.0 JIT/AOT NPU 경로를 비교 벤치마크합니다.
7. 향후 전망
Apple Intelligence (Core AI): WWDC 2026에서 발표된 MCP(Model Context Protocol)를 통해 서드파티 에이전트가 시스템 컨텍스트에 안전하게 접근하는 기능이 강화될 예정입니다.
Unified Memory 가속: 모바일 기기의 통합 메모리 구조를 활용한 훈련 및 파인튜닝(On-device training) 기술이 MLX-Swift 등을 중심으로 확산되고 있습니다.