스마트폰 환경의 LLM 서빙 기술 및 아키텍처 (2026)

2026년 현재 모바일 온디바이스(On-device) LLM 서빙은 실험적 단계를 넘어 프로덕션 표준으로 자리 잡았습니다. 하드웨어 가속기(NPU)의 발전과 효율적인 런타임 프레임워크의 등장이 이를 견인하고 있습니다.

1. 주요 모바일 LLM 프레임워크

프레임워크주요 특징성능 지표 (iPhone 17 Pro / S26 Ultra)
Core AI (Apple)WWDC26 발표. Metal 4 기반 Native Tensor 지원 및 M5/A19 최적화.~60-75 tok/s (Llama 3.3 8B)
LiteRT-LM (Google)Gemma 4 최적화, MTP 지원, v0.12.0 NPU Delegation. Swift/WebGPU JS API 및 KV Cache 관리.~80-110 tok/s (Gemma 4-E2B Decode w/ MTP)
ExecuTorch (Meta)Llama 4 Scout 최적화. Backend Delegate 가속.~45-55 tok/s
Transformers.js v4WebGPU 기본 사용(85% 네이티브 성능), C++ 재작성. 브라우저 내 추론.~60 tok/s (Llama 3.2 3B)

2. Core AI 집중 분석 (WWDC 2026 업데이트)

2026년 6월 WWDC에서 발표된 Core AI는 기존 CoreML을 완전히 대체하는 제너레이티브 AI 전용 추론 프레임워크입니다.

  • 아키텍처 혁신:

    • Transformer Native: 어텐션 메커니즘과 트랜스포머 블록에 최적화된 전용 커널(Metal 4)을 탑재하여, 데이터 이동 없는 Zero-copy 추론을 구현했습니다. 특히 Metal 4는 셰이더 내 Native Tensor 타입을 지원하여 연산 효율을 극대화했습니다.
    • Quantized Tensor Formats: Metal 4는 하드웨어 수준에서 4-bit 및 2-bit weight 압축을 기본 지원하여 LLM의 메모리 점유율을 획기적으로 낮췄습니다. (2026-06-17 업데이트)
    • 3계층 추론 시스템: AFM 3 Core(온디바이스), AFM 3 Advanced(PCC), Global Cloud(Gemini/Claude)를 단일 인터페이스로 오케스트레이션합니다.
    • coreai-torch: PyTorch 모델을 중간 단계 없이 직접 Core AI 포맷으로 변환하여 개발 생산성을 획기적으로 높였습니다.
  • 성능 (M5 Chip Family 기준):

    • 연산 속도: 소형 모델(Qwen 0.6B 등)에서 MLX 대비 2.47배 빠른 속도를 기록했습니다.
    • Prompt Prefill: M5 Max 칩에서 20B 규모 모델 기준 초당 2,500 토큰 이상의 프롬프트 처리 속도를 달성했습니다.

3. LiteRT-LM & Gemma 4 집중 분석 (2026.07 업데이트)

2026년 7월 기준 Gemma 4 및 LiteRT-LM 업데이트는 온디바이스 AI의 성능과 범용성을 한 단계 격상시켰습니다.

  • LiteRT-LM v0.12.0+ (2026.08.27 업데이트):
    • MTP 기반의 대역폭 한계 돌파: 모바일 프로세서 환경의 LLM 추론은 메모리 대역폭 한계(Memory-bandwidth bound)로 인해 무거운 가중치 데이터 이동 시 레이턴시가 수반됩니다. LiteRT-LM은 Multi-Token Prediction (MTP) 및 **투기적 디코딩(Speculative Decoding)**을 적용하여 이를 원천적으로 극복합니다.
    • 네이티브 MTP 오케스트레이션: Gemma 4 제품군에 특화된 초경량 MTP Drafter 보조 모델을 기동합니다. 이 보조 모델이 단 한 번의 순방향 연산으로 여러 개의 미래 토큰 후보군을 선제적 예측(Speculate)하면, 메인 타깃 Gemma 4 모델이 백그라운드에서 이를 병렬 검증(Verify) 및 확정합니다. 예측 성공 시 1개 생성 시간 동안 여러 개 토큰을 동시 출력하게 되어 품질 저하 없이 최대 2.2x ~ 3.0x의 디코딩 속도 가속을 실현합니다. (E2B NPU 기준 Prefill ~11,000+ tk/s, Decode ~80-110 tok/s).
    • 메모리 지역성 (Memory Locality) 보장: MTP 기법을 통해 2.2x~3x의 극적인 성능 가속을 이끌어내기 위해, LiteRT-LM은 드래프터 보조 모델과 메인 타깃 모델을 동일한 하드웨어 IP(동일 GPU 혹은 동일 NPU 가속 영역) 내부 메모리에 물리적으로 연속 배치하여 IP 간 데이터 전송(Cross-IP Transfer) 오버헤드를 막습니다. shared KV cache 데이터가 프로세서 사이를 왕복하는 데이터 병목을 원천 제거합니다.
    • 모델 획득: Pre-converted .litertlm 형식 모델은 Hugging Face litert-community 조직에서 다운로드하여 오프라인에서 활용할 수 있습니다.
    • CLI 가동 명령어:
      litert-lm run \
        --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
        gemma-4-E4B-it.litertlm \
        --backend=gpu \
        --enable-speculative-decoding=true \
        --prompt="What is the capital of France?"
      (사용 환경에 따라 --backend 인자를 npu 혹은 cpu로 스위칭 가능)
    • 교차 플랫폼 NPU Delegation:
      • Android: Qualcomm QNN, MediaTek NeuroPilot, Google Tensor 통합 API 제공. Qualcomm NPU 기기의 경우 AOT 컴파일을 통해 NPU-ready 페이로드를 생성하며, QNN_TARGET_BACKEND_HTP 및 AOT 컴파일 적용을 권장합니다.
      • Intel AI PC (OpenVino): Gemma4-2B .litertlm 패키지가 Panther Lake·Lunar Lake SoC별로 제공(컨텍스트 4096, ~2.95GB). Lunar Lake/Windows Copilot+ 노트북에서 NPU 직접 가속 경로 — wiki/Models/Optimization-and-Serving/온디바이스-AI-통합-트렌드-2026.md.
      • macOS/iOS: Native Swift API 정식 출시. Metal 가속 지원.
      • Web: WebGPU 가속 기반 JavaScript API 정식 출시. WebNN을 통한 NPU 직접 접근 지원.
      • NPU 및 MTP 컴파일 이슈: Qualcomm QNN/HTP 등 NPU 델리게이트 최적화가 지속적으로 개선되고 있으나, MTP(Multi-Token Prediction) 투기적 디코딩의 복잡한 연산 그래프 컴파일 실패 리스크가 여전히 상존합니다. 따라서 초기 연산 메모리 로컬리티(GPU VRAM 내 드래프트-타겟 모델 동일 배치) 확보와 호환성 측면에서 GPU 델리게이션이 권장되며, 실패 시 XNNPACK CPU로의 폴백 처리가 요구됩니다. (2026-07-07 업데이트)

3.1 Gemma 4 NPU per-SoC 패키지 매트릭스 (2026-10-02)

베이스 .litertlm은 GPU/CPU 그래프. NPU는 SoC별 별도 파일이 필요하다 (--backend=npu).

모델공개 NPU 패키지 (litert-community)갭
Gemma 4 E2BTensor G5, Qualcomm SM8750 / QCS8275, Intel Lunar/Panther LakeTensor G4(Pixel 9), Qualcomm SM8850, AMD/XDNA 없음
Gemma 4 E4B(없음 — GPU/CPU + web만)전 SoC NPU 미공개

Maven/prebuilt만으로 Tensor G5를 붙이면 DISPATCH_OP/Southbound 오류가 나기 쉽다 → 동일 LiteRT-LM 태그에서 runtime+dispatch를 맞춰 빌드. MTP는 CPU/GPU 문서화가 우선; NPU MTP는 SoC 패키지·컴파일 성공 여부를 별도 확인.

3.2 Field note: SM8750 NPU vs generic (2026-10-03)

공개 해부 벤치(S25 Ultra / Snapdragon 8 Elite, 1024 prefill·캐시 warm 조건 아님·참고용):

파일백엔드DecodeTTFT
gemma-4-E2B-it.litertlmCPU/GPU generic~24.5 tok/s~366 ms
gemma-4-E2B-it_qualcomm_sm8750.litertlmQNN/Hexagon V79~41.7 tok/s (~1.7×)~92 ms (~4×)

NPU 번들은 QNN 그래프·DISPATCH_OP 때문에 용량↑(~2.8GB vs ~2.4GB). HF card의 Dragonwing IQ8 NPU 표(~31.7 decode)와 장치·컨텍스트가 다르므로 SoC 패키지별로 재측정.

출처: DEV dissect SM8750, HF litert-community E2B.

3.3 Tip release: LiteRT-LM v0.19.0 (2026-10-30)

GitHub tip은 v0.19.1(§3.4). 이 절은 v0.19.0(2026-10-30) 범위를 고정한다. v0.18.1은 EmbeddingGemma 2 source-build ABI 패치로 유지된다.

  1. Accelerated logit masking — GPU constrained decoding 가속, MTP-enabled decoding 포함.
  2. Web SDK — @litert-lm/core가 모든 모델을 stream-load. 기본 백엔드는 GPU. image·audio 입력.
  3. Speech — ASR/TTS: Qwen3-ASR, Kokoro, Qwen3-TTS.
  4. C API 1.0.0 (breaking) — 실패 가능 함수는 LiteRtLmStatusCode 반환 + out_* 결과. export는 litert_lm_*만. 네이티브 바인딩은 재바인딩.
  5. Performance — GPU sampling이 동일 seed에서 CPU와 일치. ModelInfo 메모리·속도 개선.
  6. v0.18.x 범위 유지 — EmbeddingGemma 2 · litert-lm import/serve /v1/embeddings · NPU on-demand KV · GPU mask pruning.

#4125 still open (2026-10-31 재확인): gemma-4-E2B-it GPU engine create (Some ops are not accelerated…)는 이슈가 열려 있다(last update 2026-10-22). v0.19.0이 stable 태그여도 해당 모델 GPU 경로는 회귀 확인 전 0.18.1을 핀할 수 있다. CPU 백엔드는 같은 구간에서 로드된다.

출처: v0.19.0 tag, v0.18.1 tag, LiteRT-LM releases, issue #4125, Gemma 4 MTP.

3.4 Tip release: LiteRT-LM v0.19.1 (2026-11-05)

GitHub latest stable은 v0.19.1(2026-11-05). v0.19.0의 C API 1.0.0·Web SDK·speech 범위는 유지하고, Artisan GPU 멀티모달 경로를 추가한다.

  1. Multimodal Gemma 4 on Artisan GPU — vision + audio Gemma 4를 Artisan GPU backend에서 지원.
  2. Bidirectional attention (vision) — GPU Artisan 모델에서 vision 처리에 bidirectional attention 활성화.
  3. Audio encoder ⊕ Artisan text decoder — LiteRT audio encoder와 Artisan GPU text decoder 조합 지원.
  4. Assets — CLiteRTLM.xcframework.zip, CLiteRTLM_mac.xcframework.zip, litert_lm_macos_arm64.tar.gz 등.

#4125 still open (2026-11-07 재확인): gemma-4-E2B-it GPU engine create 회귀는 open(last update 2026-11-06). v0.19.0에서 user response 요청 후 다시 developer awaiting. generic GPU E2B 경로는 회귀 확인 전 0.18.1 핀 가능. Artisan multimodal 경로와 #4125 축은 별개로 본다.

출처: v0.19.1 tag, v0.19.0 tag, issue #4125.

3.5 Watch: PyPI litert-lm 0.19.2 (no GitHub tag yet, 2026-11-17)

GitHub releases/tags tip은 여전히 v0.19.1. PyPI litert-lm 0.19.2 (2026-11-13)는 watched — GH v0.19.2 태그·릴리스 노트 확인 전 tip 핀을 올리지 않는다. wiki tip 정본 = GitHub release tag.

- **NPU Delegation 실전 예제**:
  LiteRT-LM API를 사용하여 NPU 가속 및 MTP를 적용하는 파이썬 코드는 다음과 같습니다.
  ```python
  import litert_lm

  # NPU 백엔드를 명시적으로 지정하여 엔진 초기화
  with litert_lm.Engine("path/to/gemma-4.litertlm", backend=litert_lm.Backend.NPU()) as engine:
      with engine.create_conversation() as conversation:
          # 엔진은 MTP 아키텍처가 포함된 모델 패키지일 경우 자동으로 speculative decoding 가속을 활성화함
          for chunk in conversation.send_message_async("온디바이스 가속 기법에 대해 설명해줘"):
              print(chunk["content"][0]["text"], end="", flush=True)
  ```
- **저메모리 적용 기법 (Low Memory Techniques)**:
    - **고급 양자화**: INT4 Weight-only (W4A16) 및 Mixed Precision(2/4/8-bit) 지원. KV-cache Quantization(INT8/INT4)을 통해 롱 컨텍스트 처리 시 메모리 사용량을 최대 75% 절감합니다.
    - **Paged KV Cache**: 페이지 기반 동적 메모리 할당으로 메모리 파편화를 방지하고 가용 RAM 사용 효율을 극대화했습니다.
    - **Dynamic LoRA Switching**: 베이스 모델 공유 기반의 실시간 LoRA 어댑터 교체 기능을 통해, 메모리 추가 점유 없이 멀티태스킹이 가능합니다.
    - **Per-Layer Embeddings (PLE)**: 레이어별 임베딩 관리로 초기 모델 로딩 속도와 mmap 효율을 개선했습니다.
- **상태 관리**: KV Cache 상태 저장 및 복구 기능을 공식 지원하여 긴 대화 세션의 재개 비용을 최소화했습니다.
- **Constraint Decoding**: `LLGuidance` 라이브러리 통합으로 JSON Schema, Regex, Lark Grammar를 런타임 수준에서 100% 준수 강제.
- **모델 패키징 및 통합 (`.litertlm` 포맷)**: 모델 가중치, 토크나이저, 메타데이터뿐만 아니라 **MTP Drafter 보조 모델까지 단일 `.litertlm` 형식 패키지로 번들링**하여 통합 구성할 수 있습니다. 이를 통해 복잡한 크로스 디바이스 데이터 전송 및 메모리 오버헤드를 원천 차단하고 런타임 탑재 과정을 획기적으로 단순화했습니다.
- **실전 프로덕션 적용**: Chrome 브라우저 내장 AI, Chromebook Plus, Pixel 기기군(Pixel Watch 포함)의 백엔드 온디바이스 추론 엔진으로 활용되어 서비스 연동이 완료되었습니다.
  • Gemma 4 제품군 최적화:
    • Gemma 4 라인업: E2B (2.58GB), E4B (3.65GB), 12B (Medium), 26B MoE & 31B Dense.
    • iSWA (Interleaved Sparse-Dense Attention): 희소 어텐션과 밀집 어텐션을 교차 배치하여 VRAM 사용량을 획기적으로 줄이는 신규 아키텍처를 채택했습니다.
    • Encoder-free 멀티모달: Vision/Audio 인코더 없이 LLM 백본에 직접 투영하는 통합 아키텍처로 지연 시간와 메모리 사용량 최소화.
    • Thinking Mode: 추론 과정에서 단계별 사고(Chain-of-Thought)를 수행하는 네이티브 모드 탑재.
    • Gemma 4 31B 실시간 음성 대화 및 Cerebras 추론 가속 (2026.07.05 업데이트): Gemma 4 31B 기반 실시간 멀티모달 보이스 앱(Voice App) 오픈소스 스택이 공개되었습니다. OpenAI Realtime API의 드롭인 대체(drop-in replacement) 규격을 만족하며, Cerebras의 초고속 추론 가속(Ultra-fast inference) 백엔드를 연동해 지연 시간이 거의 없는 실시간 음성 응답을 보장합니다. 카메라를 통한 실시간 Vision 이해와 웹 검색(Serper 연동 등)이 가능합니다. 단, “Yes”, “No”와 같은 극단적으로 짧은 발화가 누락되지 않도록 최소 VAD(Voice Activity Detection) 튜닝이 요구됩니다. wiki/Models/Optimization-and-Serving/스마트폰-환경의-LLM-서빙-기술-2026.md

4. 핵심 최적화 기술

1) 하드웨어 가속 및 웹 표준

  • WebGPU & WebNN: WebGPU는 모든 주요 브라우저(Chrome, Edge, Firefox, Safari)에서 디폴트 활성화되어 70% 이상의 지원율을 기록하며, 네이티브 대비 80~85% 성능으로 1B~8B 매개변수 모델을 원활히 지원합니다. WebNN은 DirectML, CoreML, NNAPI 등 로컬 OS 가속기에 매핑되어 GPU 연산 대비 전력 소모를 획기적으로 줄이는 NPU 직접 접근 게이트웨이 역할을 수행합니다.
  • WebLLM: OpenAI 호환 API를 온디바이스 상에서 완벽히 제공하는 고성능 브라우저 추론 엔진으로, Llama 3, Phi 3, Gemma 등 최신 모델군을 streaming 및 structured output (JSON mode)과 함께 즉시 적용하는 drop-in replacement 규격을 지원합니다. v0.2.87(2026-10-30)은 v0_2_87 카탈로그 + TVM 0.28.0-dev1, Gemma 4 q4f32 prefill·sliding-window KV 수정 — WebLLM-Engine.md.
  • WebMCP: 웹 환경 전용 Model Context Protocol (WebMCP)의 등장으로 브라우저 내 에이전트가 웹사이트 상의 기능, 폼, API 도구를 자율 조작할 수 있는 표준 인프라가 확보되었습니다.
  • WASM Memory64 (Wasm 3.0): Chrome/Edge 133+, Firefox 134+에서 Memory64로 4GB→보통 16GB heap. Safari/iOS는 미지원(2026-08). bounds check로 wasm32보다 느릴 수 있어 >4GB 필요 시에만. wllama64가 Memory64 기본 경로+wasm32 compat를 제공 — wiki/Models/Optimization-and-Serving/브라우저-기반-LLM-서빙-기술-및-아키텍처-2026.md.
  • 모바일 브라우저 메모리 제약 및 캐싱 (OPFS & IndexedDB): 모바일 브라우저 환경에서는 프로세스당 가용 RAM이 대략 1~4GB 내외로 제약되므로 구동 모델 크기는 8B 이하(양자화 기준)로 엄격히 제한됩니다. 또한 네트워크 대용량 다운로드 병목을 막기 위해 가중치를 영구 캐싱해야 합니다.
    • IndexedDB: 세션 데이터 및 소형 RAG 메타데이터의 비동기 저장에 쓰입니다.
    • OPFS (Origin Private File System): WebLLM 등에서 널리 도입되어 대용량 바이너리 블롭(Model Weight)을 고성능 비차단 파일 입출력으로 다루며, 기존 데이터베이스 구조 대비 로딩 속도와 읽기 효율을 크게 극대화합니다.
  • NPU 중심 추론 및 신규 엔진: Apple A19 Pro, Snapdragon 8 Elite 등 최신 NPU를 타겟으로 하며, wllama(llama.cpp 기반) 및 WeInfer 같은 경량 엔진들이 dispatch 오버헤드를 제어하여 성능 간극을 좁히고 있습니다. TTFT(Time-to-First-Token) 200ms 미만을 달성했습니다.

2) 추론 가속 전략

  • 투기적 디코딩 (Speculative Decoding): 작은 드래프트 모델(예: SmolLM2 135M)이 토큰을 예측하고 큰 모델(예: 3B)이 검증하는 방식으로, 체감 속도를 1.5~2.0배 향상시킵니다.
  • Chunked Prefill: 대규모 입력을 작게 나누어 처리함으로써 초기 응답 시간(TTFT)을 단축하고 앱 반응성을 유지합니다.

5. 하이브리드 서빙 모델 (Local-First)

2026년의 주요 앱들은 Local-First 전략을 채택합니다.

  • Edge(Local): 요약, UI 제어, 개인화 검색 등 전체 작업의 약 80%를 온디바이스 모델(Core AI/ExecuTorch)이 처리합니다.
  • Cloud: 고도의 추론이나 방대한 지식이 필요한 작업만 클라우드 모델(GPT-5, Claude 4 등)로 에스컬레이션합니다.

6. LiteRT-LM 크로스플랫폼 API 확장 (2026-07-11 PM 업데이트)

Google AI Edge는 LiteRT-LM에 Swift, JavaScript, Flutter API를 추가하여 Android/iOS/Web/Desktop/IoT에서 동일 오케스트레이션 파이프라인을 제공합니다. Gemma-4-E2B는 Samsung S26 Ultra GPU 기준 Prefill 3,808 tk/s, Decode 52 tk/s, TTFT 0.3s를 기록합니다.

Intel OpenVino NPU 경로에서는 Gemma4-2B가 Panther Lake/Lunar Lake용 .litertlm 사전 컴파일 번들(4096 context, ~2.95GB)로 배포됩니다.

litert_lm run --model=gemma-4-e2b --backend=gpu --enable_mtp=true

6.1 MTP 태스크별 권장 및 Kotlin API (2026-07-12 업데이트)

공식 가이드: MTP는 GPU 백엔드에서 전 태스크 권장. CPU에서는 E4B는 전 태스크 권장, E2B는 rewrite/summarize/coding에 선택 적용(freeform/generative는 오히려 느려질 수 있음).

S26 Ultra GPU 기준 HF 벤치(E2B): Baseline 51.5 tok/s → Summarize MTP 91.7, Code 84.4, Rewrite 87.4, Freeform 66.5.

val useMtp = backend == Backend.GPU() // CPU E2B freeform에서는 false 권장
val options = LlmInferenceOptions.builder()
    .setModelPath(modelPath)
    .setMaxTokens(512)
    .setUseMtp(useMtp)
    .setTopK(40)
    .setTemperature(0.8f)
    .build()

NPU는 Android에서만 정식(✅), Windows는 experimental(🚀). 드라이버 단편화로 Backend.NPU() 초기화가 SIGKILL/SIGSEGV를 유발할 수 있으므로 실험 토글 + GPU→CPU 폴백을 기본으로 둔다.

E4B 공식 GPU 디코드(참고): S26 Ultra 22, iPhone 17 Pro 25, M4 Max 101 tok/s. (Gemma 4 model card)

6.2 Swift / @litert-lm/core / Session Restore (2026-07-13 PM)

Google Developers Blog (2026-05-19) 및 API Overview 기준 실천 포인트:

SDK설치비고
SwiftSPM https://github.com/google-ai-edge/LiteRT-LM from 0.12.0Metal, Tool protocol + @ToolParam
JavaScriptnpm i @litert-lm/core 또는 jsDelivr ESMWebGPU 기본, 별도 백엔드 설정 불필요
Fluttercommunity flutter_gemma크로스플랫폼 앱
import { Engine } from '@litert-lm/core';
const engine = await Engine.create({ modelPath: '/models/gemma-4-e2b.litertlm' });
const conversation = await engine.createConversation();
const response = await conversation.sendMessage('요약해줘');
  • Web 디코드: MacBook Pro M4 Max WebGPU에서 Gemma 4 E2B ~76 tok/s (MTP off 보고치).
  • Session save/restore: KV cache 직렬화로 재방문 시 heavy prefill 생략 → AI Edge Gallery Agent Skills의 장시간 세션 연속성에 사용.
  • MTP 메모리 로컬리티: drafter+target을 동일 IP(GPU)에 고정해 cross-IP 전송을 제거하는 것이 2.2x 가속의 전제.
  • Windows 네이티브 CLI (v0.11.0, 2026-05-07): LiteRT-LM CLI가 Windows에서 CPU·GPU 백엔드 모두 네이티브 실행을 정식 지원하기 시작했습니다(데스크톱 실험·프로토타이핑 경로 확대). 같은 릴리스에서 Gemma 4 MTP가 정식 탑재되었습니다. (v0.11.0 릴리스)

LiteRT-LM v0.14.0 — Android CLI/Python · Tool Calling · Auto-Backend (2026-07-16 업데이트)

v0.14.0(2026-07-08)은 온디바이스 에이전트 실험 경로를 크게 넓혔습니다.

  1. Android에서 CLI·Python 직접 실행: aarch64/x86_64에서 Termux 또는 BeeWare 패키징으로 litert-lm CLI·Python API 사용 가능. (CLI, Python)
  2. Tool calling 스트리밍: C/Swift API에서 tool-call 토큰 실시간 스트리밍, LiteRT-LM.js 전체 tool calling, reasoning/thinking 채널 지원 → 브라우저·네이티브 공통 에이전트 루프 설계 가능.
  3. 멀티모달 자동 백엔드: CLI run/serve가 audio·vision 모델에 대해 백엔드를 자동 선택하고, NPU·GPU audio 가속을 제공.
# Android(Termux 등)에서 Gemma 4 E2B 빠른 스모크
litert-lm run \
  --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
  gemma-4-E2B-it.litertlm \
  --prompt="Summarize on-device tool calling"
# audio/vision은 백엔드 자동 선택; 필요 시 --backend=npu|gpu|cpu 고정

구현 팁: Android NPU는 TF_LITE_AUX(QNN 페이로드) 부재 시 SIGKILL/SIGSEGV가 날 수 있으므로 NPU 시도 → GPU(OpenCL/MLDrift) → CPU(XNNPACK) 폴백을 앱 레이어에 고정한다.

LiteRT-LM main (2026-07-17) — Swift 디코드 제어 · NPU seqlen · CLI deps

정식 번호 릴리스는 아직 없고, v0.14.0 / v0.15.0-alpha0 이후 main 커밋이 iOS·NPU 운영 품질을 보강합니다.

  1. Swift 디코드 제어: NoRepeatNgramConfig, RepetitionPenaltyConfig, maxOutputTokens가 Swift API에 추가되어 반복 억제·응답 길이 상한을 네이티브 Conversation 설정으로 고정할 수 있습니다.
  2. NPU max sequence length 보고: .litertlm 메타데이터에 max seqlen이 없는 모델이 불투명한 KV-cache update out of range로 죽던 문제를, executor 생성 시 Engine에 한도를 전달해 prefill 초과 시 명확한 에러로 바꿉니다. 앱에서는 catch 후 GPU/CPU 폴백 또는 컨텍스트 truncate를 선택할 수 있습니다.
  3. CLI PyPI: jsonschema 의존성 포함, rpds-py 2026.6.3(Python 3.13). 벤치 로그의 0-token/NaN 메트릭 수정.
// iOS: 반복 억제 + 출력 상한 (개념 예시 — main tip 기준 API명)
let config = ConversationConfig(
  noRepeatNgram: NoRepeatNgramConfig(/* n */),
  repetitionPenalty: RepetitionPenaltyConfig(/* penalty */),
  maxOutputTokens: 512
)
let conversation = try await engine.createConversation(with: config)

LiteRT-LM main (2026-07-18) — SuppressTokens · CLI help 그룹 · per-op profiling

번호 릴리스는 여전히 v0.14.0이 최신이며, 당일 main 커밋이 iOS 디코드 제어와 CLI UX를 한 단계 더 보강합니다.

  1. SuppressTokensConfig: 생성 중 특정 토큰 ID 목록을 억제. Conversation.sendMessage / 스트림 경로에 suppressTokensConfig로 전달. [1,2,3] 등으로 단위 테스트됨. 전일 NoRepeatNgram/RepetitionPenalty/maxOutputTokens와 함께 네이티브 디코드 가드레일 세트를 완성한다.
  2. CLI help 섹션화: litert-lm --help가 Inference / Model Management / Builder(LiteRT-LM File)로 run·serve·benchmark·list·pack 등을 묶는다.
  3. Per-op profiling: LiteRT-LM 내부 per-op 프로파일링 활성화(커밋 609bb73) — NPU/GPU 병목 측정용.
// 특정 토큰 ID 억제 (예: 특수 토큰·금지어 vocab id)
let response = try await conversation.sendMessage(
  Message("Hello"),
  suppressTokensConfig: SuppressTokensConfig(suppressTokens: [1, 2, 3]),
  maxOutputTokens: 512
)

참고: commit f2f7810, 78d5382

LiteRT-LM main (2026-07-19) — LFM2.5 VL vision encoder · encoder-agnostic · NPU prefill 시그니처

PR #2688이 2026-07-19에 main으로 병합되어, Gemma 계열 외 LFM2.5 VL 비전 인코더 경로가 런타임에 들어왔습니다.

  1. Lfm2 모델 타입: llm_model_type.proto에 Lfm2 lfm2 = 10 추가. start_of_image_token/end_of_image_token, patch·pooling·image tensor 크기, per-channel mean/std 정규화 필드를 담습니다. lfm2_data_processor가 factory/registry에 등록됩니다.
  2. Vision executor encoder-agnostic: 기존에는 encoder 입력이 2개일 때만 ViT(image patches + positions_xy)로 가정했습니다. 이제는 첫 입력을 항상 image patches로 보고 positions_xy를 옵션으로 처리해 **ViT(2-input)**와 **single-input(LFM2 VL)**를 동일 경로로 돌립니다.
  3. NPU prefill 길이 동적 해석: prefill_128 하드코딩 대신, 컴파일된 모델 시그니처에서 prefill/embedder/mask/rope/cache_update 패밀리를 실제 컴파일 길이로 resolve합니다. NPU AOT 번들의 seqlen이 128이 아닐 때 깨지던 경로를 줄입니다.
# 설계 힌트 (앱/패키징)
# - LFM2.5 VL: single-input vision encoder → positions_xy 없음
# - ViT 계열: patches + positions_xy
# - NPU .litertlm: 고정 prefill_128 가정 금지 → 시그니처에서 prefill_* 길이 읽기

참고: PR #2688 (merged 2026-07-19)

LiteRT-LM main (2026-07-20) — OpenAI handler model 문자열로 backend·max_tokens

PR #2911이 병합되어 OpenAI 호환 serve 핸들러가 모델 파라미터 한 줄로 백엔드와 출력 한도를 지정할 수 있습니다.

형식: "<model-id>[,<backend>[,<max-token>]]"

# OpenAI-compatible 클라이언트가 model 필드에 백엔드·max token을 인라인 지정
# 예: gemma3-1b + GPU + max 32768
curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma3-1b,gpu,32768",
    "messages": [{"role": "user", "content": "요약해줘"}]
  }'

같은 날 운영 품질 보강:

  • PR #2914: 취소된 내부 task 상태를 콜백으로 표면화해 행(hang) 방지
  • PR #2924: 잘못된 sampled token ID에 대해 오류 옵션
  • PR #2926: CLI config에서 jsonschema 의존성 제거

적용 팁: 에이전트/프록시가 모델 ID만 넘기던 경로를 id,backend,max로 확장하면 요청별 NPU/GPU 전환과 컨텍스트 상한을 서버 재기동 없이 실험할 수 있다.

LiteRT-LM main (2026-07-21) — ringbuffer local attention · GPU 벤치 플래그 · state 네이밍

당일 main에 병합된 성능·측정·용어 정리입니다.

  1. Ringbuffer local attention (PR #2930): C/Python API에 use_ringbuffers_local_attention 추가, CLI --ringbuffers-local-attention (run/benchmark). serve CLI 기본값 True.
  2. GPU 벤치 튜닝 플래그 (PR #2915): Benchmark CLI에 --num-decode-steps-per-sync(기본 3) 노출. 벤치 시 wait_for_weight_uploads=true로 init/prefill 타이밍 분리(C→Python 바인딩, CLI 비노출).
  3. KV cache → state (PR #2825): 세션 복구·executor 메타데이터 용어를 state로 통일.
  4. 벤치 워밍업 (PR #2922): 다중 iteration + 첫 실행 스킵.
# serve: ringbuffer local attention 기본 ON
litert-lm serve path/to/model.litertlm --backend=gpu
 
# 벤치: decode sync 스텝·워밍업 튜닝
litert-lm benchmark path/to/model.litertlm \
  --backend=gpu \
  --ringbuffers-local-attention \
  --num-decode-steps-per-sync=3

적용 팁: 모바일 GPU에서 local-attention ringbuffer가 기본이므로, 롱컨텍스트 품질 회귀가 보이면 CLI로 끄고 TTFT/tok/s를 재측정한다. 벤치마크 SLO는 weight upload 대기 후 prefill만 재서한다.

LiteRT-LM main (2026-07-22) — thinking · —config · AttentionMaskPolicy

당일 main 커밋으로 reasoning 서빙·설정 분리·비전 마스크 정책이 추가되었습니다.

  1. --thinking / --thinking-budget (d2d2a71): config_schema.json·run CLI·OpenAI handler에 옵션 추가. 요청 body에 reasoning_effort가 없으면 config.json 값으로 폴백.
  2. --config (3f89e74): 기본 ~/.litert-lm/config.json 대신 커스텀 경로. run/benchmark/serve 서브커맨드·글로벌 플래그, --config=/dev/null로 빈 설정 허용.
  3. AttentionMaskPolicy (8284640): attention mask 채움 정책 — causal / bidirectional / vision-specific bidirectional.
  4. 연계: --gpu-decode-steps-per-sync를 run+config에 노출(5f43d8a); --ringbuffers-local-attention을 hidden CLI로 전환(4090766, serve 기본 ON 유지); StateInterface로 KV/state 관리 추상화(5df0c42); Apple FM adapter 멀티모달 merge(091d175).
# 에이전트/로컬 실험용 분리 설정 + thinking 예산
litert-lm serve path/to/model.litertlm \
  --backend=gpu \
  --config=/tmp/litert-agent.json \
  --thinking \
  --thinking-budget=2048
 
# OpenAI 호환: reasoning_effort 미지정 시 config.json thinking_budget 사용
curl -s http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"gemma-4-E2B-it","messages":[{"role":"user","content":"요약해줘"}]}'

적용 팁: 모바일 에이전트 A/B는 --config로 프로필을 분리하고, thinking 모델은 OpenAI 프록시가 reasoning_effort를 안 넘기더라도 config 폴백으로 예산을 고정한다. 비전 인코더 경로는 AttentionMaskPolicy를 vision bidirectional로 맞춘 뒤 TTFT를 재측정한다.

LiteRT-LM main (2026-07-23) — ASR Asynchronous API

커밋 42d10355가 omni/asr 스택에 논블로킹 콜백 API를 추가했습니다.

  1. 대상 인터페이스: AudioSource, AudioPreprocessor, SpeechDecoder에 *Async 메서드 추가. 반환은 void, 인자는 move-only absl::AnyInvocable<void(...) &&> 콜백.
  2. 스레드 계약: 콜백은 임의 스레드에서 호출될 수 있고, 특히 에러 시 같은 스레드에서 동기적으로 *Async 반환 전에 호출될 수 있음 → 호출자가 공유 리소스 동기화를 책임진다.
  3. 검증: asr_session_test.cc에 더미 구현·유닛 테스트.
// 개념 스케치: SpeechDecoder::DecodeAsync 콜백은 임의 스레드/동기 경로 모두 가능
decoder->DecodeAsync(audio_chunk, [&](Status s, Tokens tokens) {
  // mutex / 큐로 메인 루프에 넘긴 뒤 UI·에이전트 세션에 전달
});

적용 팁: 온디바이스 음성 에이전트(Gallery 음성 대화)에서 ASR→LLM 파이프라인을 묶을 때, 콜백에서 바로 Engine 세션을 만지지 말고 직렬화 큐로 넘긴다. 에러 경로의 동기 콜백은 데드락 위험이 크므로 락 보유 중 *Async 호출을 피한다.

LiteRT-LM main (2026-07-24) — YNNPACK/CPU threads · activation dtype · KV-capacity prefill

당일 main 커밋으로 CPU 백엔드 튜닝·활성 정밀도·prefill 스케줄이 보강되었습니다.

  1. enable_ynnpack / num_cpu_threads (9604a2cf): litert_lm_main이 CPU 백엔드일 때 ABSL 플래그를 CpuConfig에 배선. num_cpu_threads > 0이면 number_of_threads, enable_ynnpack은 그대로 전달.
  2. activation_data_type (69dce4ec): CLI config_schema.json ModelConfig에 fp32|fp16|int16|int8 enum 추가(v0.15.0 주석). run/benchmark/serve 경로로 전파.
  3. KV-capacity prefill (df1af079): remaining KV cache capacity로 prefill work group을 제한. 연계로 SingleThreadedStageWithDeque 세션 큐(da6bdda4), static/dynamic executor Reset 테스트(ccc945ef).
# CPU 백엔드: YNNPACK + 스레드 수 고정
litert-lm run model.litertlm --backend=cpu \
  --enable_ynnpack=true --num_cpu_threads=4
 
# 활성 정밀도 프로필 (config.json)
# { "activation_data_type": "fp16" }
litert-lm serve model.litertlm --backend=gpu --config=/tmp/litert-fp16.json

적용 팁: 엣지 CPU A/B는 YNNPACK·스레드를 고정한 뒤 TTFT/decode를 재측정하고, 긴 컨텍스트는 KV-capacity 제약이 prefill 청크를 줄이는지 로그로 확인한다. 모바일 배터리 시나리오에서는 int8/fp16 activation을 바꿔 발열·품질 트레이드오프를 본다.

LiteRT-LM Omni (2026-07-25) — ASR/TTS Session + AsyncStageScheduler

Omni 스택이 Stage 파이프라인 + 세션 오케스트레이터로 ASR/TTS를 통일했습니다. (TTS 7231f650, ASR ee624ab3, Stage base da6bdda4)

  1. Stage / AsyncStageScheduler (omni/base): NeedSchedule()·Schedule()·GetOutput() 계약. SingleThreadedStageWithDeque<T>가 동기/비동기 스케줄 공용 큐.
  2. AsrSession: AudioSource → Preprocessor → SpeechDecoder → Detokenizer → TextMerger. 기본 merger는 LevenshteinTextMerger(청크 간 겹치는 단어 스트림을 Levenshtein 정렬·병합).
  3. TtsSession: TextSource → TextFrontend → AcousticPredictor → LatentDecoder → Vocoder. ASR와 동일하게 sync ProcessNextChunk / async ProcessAsync(ThreadPool, callback).
  4. EOS: async 경로에서 OutOfRange 시 merger/vocoder Flush() 후 콜백. 스케줄러 정지는 3초 타임아웃.
// TTS 동기 한 스텝 (개념)
TtsSession::Create({.text_source=..., .text_frontend=...,
                    .acoustic_predictor=..., .latent_decoder=..., .vocoder=...});
auto out = session->ProcessNextChunk();  // Vocoder::AudioOutput or OutOfRange
 
// ASR 비동기 스트림
session->ProcessAsync(pool, [](StatusOr<TextMerger::MergeResult> r) {
  // UI/에이전트 큐로 전달; AlreadyExistsError면 이미 실행 중
  return absl::OkStatus();
});

적용 팁: Gallery 음성 대화는 ASR Session → LLM → TTS Session을 같은 ThreadPool에 묶되, 세션 Reset()으로 턴 경계를 친다. 스트리밍 ASR는 Levenshtein merger의 unconfirmed 단어를 UI partial로 쓰고, EOS Flush로 확정 텍스트만 프롬프트에 넣는다.

LiteRT-LM main (2026-07-27) — Audio embeddings · state metadata dynamism · embedding builder

당일 main 커밋으로 오디오 임베딩 훅·동적 모델 판정·Python 빌더 메타데이터가 보강되었습니다.

  1. Audio embeddings callback (95f9e5dd): SessionConfig::AudioEmbeddingsCallback = absl::AnyInvocable<void(const ExecutorAudioData&) const>. Prefill(Serial/Threaded ExecutionManager)에서 ProcessAndCombineContents 후 GetAudioDataPtr()가 있으면 콜백 호출.
  2. Executor state metadata로 dynamism 판정 (61d24058): IsDynamicModel(ModelResources&)가 GetExecutorMetadata()의 llm_executor_metadata().state_buffers()를 우선 사용. 메타데이터 없으면 기존 prefill signature KV/seqlen 검사로 폴백.
  3. Embedding metadata (Python builder) (101dee9f, 80586135): litertlm_builder.py / litertlm_peek.py에 embedding_metadata protobuf 배선·shaded sources 보완.
  4. NPU plugin dir 가드 (fa958037): 어떤 executor도 NPU 백엔드가 아니면 compiler plugin dir를 설정하지 않음.
  5. PyPI wheels (d3cc2607): LiteRT-LM API 휠을 python3 -m uv로 퍼블리시.
// 오디오 임베딩을 에이전트/벤치 훅으로 받기
SessionConfig cfg = SessionConfig::CreateDefault();
cfg.SetAudioEmbeddingsCallback([](const ExecutorAudioData& audio) {
  // 임베딩 텐서를 로깅·캐시·다운스트림 비전/음성 퓨전에 전달
});
# 임베딩 메타데이터가 포함된 litertlm 검사 (빌더/peek)
python -m litert_lm_builder.litertlm_peek path/to/model.litertlm

적용 팁: Gallery 음성→LLM 파이프라인에서 ASR 임베딩을 재사용하려면 SessionConfig 콜백으로 prefill 직전 ExecutorAudioData를 캡처한다. NPU 미사용 CPU/GPU 전용 프로파일은 plugin dir 미설정으로 기동 오류를 줄인다. 동적 KV 모델은 executor metadata의 state_buffers가 있으면 signature 휴리스틱보다 메타데이터를 신뢰한다.

LiteRT-LM main (2026-07-28) — EmbeddingEngine · file AudioSource · WebGPU sync

당일 main에 독립 EmbeddingEngine, 파일 기반 ASR 입력, WebGPU 입력 동기화가 들어왔습니다.

  1. EmbeddingEngine (a7680791): ComputeEmbedding / ComputeEmbeddingBatch가 InputData(text/audio/image)를 받아 EmbeddingResponse.embedding(vector<float>)을 반환. EmbeddingOptions.normalize=true면 L2 정규화. CLI embedding_litert_lm_main + test_embedding.litertlm.
  2. AudioSource from file (389d197e): omni/asr/file_audio_source.* — miniaudio 기반 파일 입력으로 오프라인 ASR 세션 테스트 가능.
  3. WebGPU / Android (5f96a061, 3b3ffdff): WebGPU 입력 핸들링 sync 수정; Android param_tensor를 external tensor로 선언. 단일 KV cache GPU 입력은 cff2f2c9(07-27).
  4. CI/deps: Python 3.10 요구·macOS Kokoro gfile prefetch(9bb55f99), litert_lm 의존성 갱신(94e048f8).
// 온디바이스 임베딩 엔진 (텍스트/오디오/이미지)
EmbeddingOptions opt{.normalize = true};
auto resp = engine->ComputeEmbedding(contents, opt);
// resp->embedding : L2-normalized float vector
# 임베딩 전용 CLI (빌드 산출물)
./embedding_litert_lm_main --model=test_embedding.litertlm --normalize

적용 팁: Gallery/에이전트 RAG 훅은 Session audio-callback과 EmbeddingEngine을 분리한다 — 전자는 LLM prefill 경로, 후자는 독립 임베딩 서빙. ASR 회귀는 mic 대신 FileAudioSource로 고정 웨이브폼을 넣고 WebGPU 백엔드는 07-28 sync 패치 이후 단일 KV 입력 경로를 재측정한다.

LiteRT-LM main (2026-07-29) — OpenCL GPU input · NPU UAF · omni litert ns

  1. OpenCL GPU input handling (69232046): OpenCL 경로에서 GPU 입력 핸들링 강제 시 로그 — WebGPU(07-28)에 이어 OpenCL/MLDrift 폴백 체인 정합.
  2. NPU Environment::Create UAF 수정 (83734f49): NPU Environment 생성 시 use-after-free heap corruption 제거.
  3. omni namespace (209c470b): omni 경로 litert_lm → litert 네임스페이스 정렬.
  4. 벤치 시계 (dce039df): 하이퍼바이저/WSL에서 absl::Now 드리프트 회피용 monotonic clock.
# NPU → OpenCL/MLDrift GPU → XNNPACK CPU 폴백은 앱 레이어에 고정
# NPU Environment 기동 실패/크래시는 07-29 UAF 패치 이후 재측정

적용 팁: Android OpenCL GPU 입력 경로는 07-29 패치 후 KV 단일 입력·폴백 로그를 확인한다. NPU AOT 프로파일은 Environment::Create 재시도 루프에서 이전 UAF 크래시가 사라졌는지 회귀한다. omni ASR/TTS 바인딩은 litert 네임스페이스로 import를 맞춘다.

LiteRT-LM main (2026-07-30) — ASR StatelessDecoder · GPU state restore · NPU lock

  1. StatelessDecoder / SpeechRecognizer (849936d1, d417931e): Moonshine·Qwen3-ASR용 StatelessDecoder + SpeechRecognizer — 온디바이스 ASR 파이프라인 1급화.
  2. Linear attention state (no seq axis) (09ea901a): LiteRT state에서 sequence axis 없는 linear attention state buffer 지원.
  3. GPU single-buffer cache restore (b6b91bb8): GPU 최적화 단일 버퍼 캐시 세션 복원(state restoration) 활성화 — Session Restore 연구 키워드에 직결.
  4. NPU lock leak/self-deadlock (a88ee86d, 부분 revert e9bcf61d): NPU 런타임 lock 누수·자기교착 수정(후속 부분 되돌림 주의).
  5. ConstrainedDecodingConfig (3ddad796) · MiniCPM5-1B 메타/채팅 템플릿 (f2195e93).
# GPU single-buffer Session Restore 회귀
# 1) GPU backend + single buffer cache로 세션 생성
# 2) 프로세스 재기동 후 state restore → decode 연속성 확인
# ASR: Moonshine/Qwen3-ASR StatelessDecoder 경로 smoke

적용 팁: 모바일 Session Restore는 GPU single-buffer 경로(b6b91bb8)를 우선 검증한다. NPU lock 패치는 부분 revert가 있으므로 a88ee86d/e9bcf61d 히스토리를 함께 본다. ASR 에이전트는 SpeechRecognizer+StatelessDecoder로 mic/FileAudioSource를 통일한다.

LiteRT-LM main (2026-07-31) — graph tensor callbacks · mmap embedding · TdtDecoder · MiniCPM5 C++

  1. Pre/post-run graph tensor callbacks (f6c83eff): 모델 그래프 tensor buffer에 실행 전·후 콜백 — 디버그·커스텀 전처리 훅.
  2. Embedding mmap (5924eeaf): embedding_litert_lm_main에 memory-mapped file 옵션 — 대용량 임베딩 로드 RSS 절감.
  3. Benchmark profiling 복구 (4bd9e2a5): 벤치 프로파일링 정보 누락 수정.
  4. TdtDecoder (8ef6b80b): ASR/시퀀스 디코더 계열 확장.
  5. MiniCPM5 C++ data processor (9cc919a3): MiniCPM5-1B용 C++ processor + 메타데이터 (07-30 템플릿에 이은 네이티브 경로).
# embedding mmap 실험
embedding_litert_lm_main --mmap=true path/to/embedding.litertlm
# graph tensor 훅: pre-run에서 input buffer 검증 → post-run에서 activation dump

적용 팁: 온디바이스 임베딩 파이프라인은 mmap으로 RSS를 먼저 낮추고, MTP/에이전트 루프 디버그는 graph tensor pre/post 콜백으로 맞춘다. MiniCPM5는 C++ processor(9cc919a3)와 채팅 템플릿을 함께 묶는다.

LiteRT-LM main (2026-08-01) — AsrEngine · benchmark ringbuffer auto

  1. AsrEngine (529cf97): 모델 로드·토크나이저·AsrSession 생성을 한 엔진으로 묶음. AsrEngineConfig에 DecoderType(kCtc/kTdt/kStateless), Backend(kCpu/kGpu/kNpu), 16 kHz·5 s 입력 창, TDT decode 토큰 ID, cache_dir. asr_runner CLI로 회귀 테스트. TdtDecoder 버그픽스 포함.
  2. Benchmark ringbuffer auto-enable (df73046): litert-lm benchmark가 모델이 지원하면 --ringbuffers-local-attention을 자동 ON (benchmark.py).
# ASR 엔진 스모크 (개념)
asr_runner --model_path=/path/to/asr.litertlm --backend=cpu
# 벤치: 지원 모델이면 ringbuffer local attention 자동
litert-lm benchmark path/to/model.litertlm --backend=gpu

적용 팁: Gallery 음성→LLM 파이프라인은 AsrEngine::Create → AsrSession으로 mic/FileAudioSource를 통일하고, TDT 경로는 529cf97 이후 TdtDecoder로 재측정한다. 벤치 SLO는 ringbuffer 자동 ON을 전제로 TTFT/tok/s를 잡고, 품질 회귀 시 플래그를 명시 OFF한다.

LiteRT-LM main (2026-08-02) — SWA mask × ringbuffer (NPU)

  1. Sliding window attention mask re-implement (d9f192b): NPU compiled-model executor에서 KV가 ringbuffer일 때 SWA 마스크를 재구현. FillMaskInternal → FillMasksInternal로 mask_local + mask_global 동시 채움.
  2. 타입·센티널: int8_t(valid=127, masked=-128) / int16_t(valid=0, masked=-32767).
  3. 테스트: HWMaskUpdateSWADecode_TimestepSmallerLocalWindow 등 — local capacity 512(+batch), global 4096(+batch), time_step < local window 케이스 분리.
# ringbuffer local attention ON + NPU 경로에서 SWA 마스크 회귀
litert-lm benchmark path/to/model.litertlm --backend=npu
# (지원 모델) serve 기본 ringbuffer local attention 유지; 마스크 깨짐 시 d9f192b 이후 빌드 확인

적용 팁: NPU에서 ringbuffer+SWA를 쓰는 온디바이스 빌드는 d9f192b 이후인지 확인하고, local/global 마스크 텐서 shape(capacity+batch) 불일치로 HW mask update가 실패하지 않는지 유닛 디코드부터 본다. CLI --ringbuffers-local-attention·벤치 자동 ON(08-01)과 함께 묶는다.

LiteRT-LM main (2026-08-03) — C API split · CPU threads=4 · audio soft tokens

  1. C API conversation / engine-lite 분리 (d3a04ada): c/conversation.*와 c/engine.* 타깃을 분리. 임베딩·경량 런타임은 conversation 오케스트레이션 없이 engine-lite만 링크.
  2. CPU threads 기본값 4 (7568c301): 런타임 기본 스레드 수를 4로 고정. 저코어 폰/벤치 재현 시 명시 오버라이드와 비교.
  3. 1536-dim unprojected audio soft tokens (557024ef): Audio compiled-model executor가 ExecutorAudioData 콜백으로 미투영 1536차원 soft token을 공유. ASR→LLM 어댑터가 executor 내부 재투영 없이 소비 가능 (audio_litert_compiled_model_executor.*, llm_executor_io_types.*).
# CPU 기본 4스레드 가정 벤치 (오버라이드 전후 tok/s 비교)
litert-lm benchmark path/to/model.litertlm --backend=cpu
 
# 음성 파이프라인: AsrEngine/AsrSession(08-01) + soft-token 콜백(08-03) 이후 빌드 확인

적용 팁: Gallery/임베디드 C 바인딩은 conversation 불필요 시 engine-lite만 링크해 바이너리 크기·심볼을 줄인다. 음성→LLM은 557024ef 이후 soft-token shape(1536)와 다운스트림 projection이 이중으로 돌지 않는지 확인한다. CPU SLO는 기본 4스레드를 베이스라인으로 잡고, big.LITTLE에서 스레드를 올리면 스케줄 지터를 같이 본다.

LiteRT-LM v0.15.0 · main→0.16.0 (2026-08-04)

v0.15.0 + main 버전 bump ff42c1ca.

  1. Apple FM Adapter: Apple Foundation framework 백엔드를 LiteRT-LM에 네이티브 통합 — Gemma 4 텍스트·비전/오디오. 동시 engine init re-entrancy 수정.
  2. CLI config.json: 글로벌/모델별 기본값(백엔드·thinking budget·context). 우선순위: Runtime args > model config > global defaults > model metadata > engine fallbacks (CLI Configuration).
  3. LiteRT-LM.js: Gemma 4 12B / 26B-A4B / 31B web .litertlm 공식 지원; use_autosized_ringbuffers; AutoToolChat이 모델이 emit한 tool call을 자동 실행.
  4. 0.16.0 디코드 경로 (main): StatelessDecoder start/skip-until tokens(d82d9d89); Bank 2 KV create_and_init_output_buffers(932d8b93); EOS 잔여 텍스트 flush(5cf3986a); prefill signature는 compiled model 생성 후 읽기(2af51411).
# 모델별 기본값을 config로 고정 후 런타임만 오버라이드
litert-lm serve path/to/gemma4.litertlm --config=~/.litert-lm/config.json --backend=gpu

적용 팁: 웹 에이전트는 AutoToolChat+autosized ringbuffer로 롱컨텍스트 tool 루프를 잡고, iOS/mac는 FM adapter와 기존 Metal/NPU 경로의 TTFT를 분리 측정한다. 디코더 EOS 잘림이 보이면 5cf3986a 이후 빌드인지 확인한다.

LiteRT-LM main: Qwen3-TTS · reasoning_content · KV prefill (2026-08-05)

v0.15.0 이후 main(버전 라인 0.16.0) 커밋.

  1. Qwen3-TTS 파이프라인 스테이지: Qwen3FrontendStage(65d06ad6) → Qwen3AcousticPredictorStage(60494102) → Qwen3VocoderStage/Qwen3LatentDecoderStage(a794e6c9).
  2. Message.reasoning_content (f6eeb405): thinking/reasoning 채널을 별도 필드에 적재 — UI·에이전트가 content와 분리 소비.
  3. Prefill KV 입력 (ab66b04d): local KV cache 버퍼를 prefill 입력으로 전달.
  4. 임베딩 executor (976fa405): 다중 signature + buffer caching.
  5. ASR 정렬: Parakeet CTC frame fix(a065a76f), overlap ratio 플래그(02e9b3db), timestamp+Levenshtein align(583aa142).
# reasoning 필드를 노출하는 빌드인지 Message 스키마 확인 후 UI 바인딩
# TTS: Frontend → AcousticPredictor → Vocoder/LatentDecoder 스테이지 순서 고정

적용 팁: 온디바이스 에이전트 UI는 content와 reasoning_content를 분리 렌더한다. 음성 합성 데모는 Qwen3-TTS 스테이지 체인 커밋 이후 빌드를 핀하고, ASR→텍스트는 Levenshtein align+overlap ratio로 WER/지연을 재측정한다.

LiteRT-LM main: CachedSession Reset/Clone/TextScoring · external MTP weights (2026-08-08)

v0.15.0 태그 이후 main(0.16.0 라인). 헤더: cached_session.h.

  1. CachedSession 수명주기 (e533a5ac):
    • Prefill은 전체 프롬프트를 넘긴다. 내부 PrefixCache와 매칭 후 unmatched suffix만 실행(멀티모달 text/image/audio 포함).
    • Reset() — PrefixCache 비우고 Session step 0 rewind.
    • Clone() / CloneAsync() — Session+PrefixCache 동시 복제(분기 대화·A/B 평가).
    • RunTextScoring(target_text) — 이미 prefill된 컨텍스트에 대해 후보 텍스트만 채점(전체 prefill을 다시 넣지 않음).
    • GetBenchmarkInfo / multimodal footprint용 VisionExecutorProperties·AudioExecutorProperties.
  2. MTP/임베딩/비전 external weight (a414022e, 55c2bc31, 172ab84d): drafter·embedder·vision encoder가 외부 weight를 소비; EmbeddingLookup는 litert::CompiledModel에서 생성 가능.
// 개념: 공통 컨텍스트 prefill → Clone으로 분기 → TextScoring으로 후보 비교
// CachedSession::RunPrefill(full_prompt);
// auto branch = cached.Clone();
// auto scores = cached.RunTextScoring({"option A", "option B"}, /*store_token_lengths=*/true);
// cached.Reset();  // 다음 세션

적용 팁: 멀티턴 앱은 suffix 추적을 직접 하지 말고 CachedSession에 full prompt를 맡긴다. 평가/리랭크는 decode 대신 RunTextScoring으로 TTFT를 아낀다. MTP·비전 파이프라인은 external weight 커밋 이후 빌드에서 drafter/encoder 가중치 경로를 분리 배포한다.

LiteRT-LM v0.16.0 태그 — C API prebuilts · experimental YNNPACK (2026-08-11)

v0.16.0은 v0.15.0 후속 태그. Overview: LiteRT-LM.

  1. 버전드 C API 공유 라이브러리 prebuilt (전 플랫폼): litert_lm_c_api-0.1.0.zip, CLiteRTLM.xcframework.zip, CLiteRTLM_mac.xcframework.zip. 소스에서 shared lib를 빌드하지 않고 네이티브 바인딩을 붙일 수 있다. conversation 불필요 시 engine-lite만 링크하는 축과 맞춘다.
  2. Experimental YNNPACK delegate: YNNPACK. LiteRT-LM CLI·Python에서 linux arm64 빌드에 활성화. 기존 XNNPACK CPU 경로와 이름을 혼동하지 말 것 — 실험 플래그·플랫폼을 벤치에 명시한다.
# linux aarch64: 실험 YNNPACK delegate가 켜진 CLI/Python 빌드인지 확인 후 tok/s 비교
litert-lm benchmark path/to/gemma4.litertlm --backend=cpu

적용 팁: 앱 바인딩은 태그 아티팩트의 C API zip/xcframework를 핀하고, arm64 서버/보드 벤치는 YNNPACK delegate on/off를 따로 잰다. 웹/iOS FM adapter는 v0.15.0 축 — 이 태그의 C prebuilt와 섞어 버전을 보고하지 않는다.

LiteRT-LM v0.16.1 — Windows JVM only (ALREADY_COVERED 기능 claim)

v0.16.1(2026-08-18): Windows JVM crash 수정·Kotlin/Maven/Windows 빌드 플래그만. git commit은 v0.16.0과 동일 → C API prebuilt·YNNPACK·MTP/CachedSession 기능 claim은 v0.16.0 절과 동일(추가 합성 없음).

LiteRT-LM OpenAI-compatible registry serve · Gemma 4 12B (2026-08-29)

공식 OpenAI-Compatible Server + Gemma 4 12B laptop blog: 로컬 레지스트리에 import한 뒤 path 없이 serve 하면 OpenAI SDK/에이전트 툴을 그대로 붙일 수 있다.

  1. 레지스트리 import (서빙 전 필수 — HF litert-community → 로컬 alias):
litert-lm import \
  --from-huggingface-repo=litert-community/gemma-4-12B-it-litert-lm \
  gemma-4-12B-it.litertlm \
  gemma4-12b
  1. 서버 기동 (기본 0.0.0.0:9379, 레지스트리 모델 동적 로드):
litert-lm serve
# 예: litert-lm serve --host 127.0.0.1 --port 8080
  1. 엔드포인트: GET /v1/models, POST /v1/chat/completions(스트리밍 지원).
curl http://localhost:9379/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"gemma4-12b","messages":[{"role":"user","content":"Hello!"}]}'
  1. 에이전트 연동: OpenAI 호환 클라이언트·로컬 에이전트(OpenClaw/Hermes/OpenCode/Continue/Aider 등)의 base_url을 http://localhost:9379/v1로 두고 model을 레지스트리 alias(gemma4-12b)로 지정. 일부 데모는 gemma4-12b,gpu처럼 백엔드 suffix를 model 문자열에 붙인다.
  2. Swift: 패키지가 macOS + iOS 동시 지원(온디바이스/노트북 에이전트와 같은 스택 축).

적용 팁: path 인자 serve model.litertlm 경로와 레지스트리 import→pathless serve 를 혼동하지 말 것. 멀티툴 에이전트는 먼저 GET /v1/models로 alias 존재를 확인한다. MTP(--enable-speculative-decoding)는 run/Engine 경로 — OpenAI serve 기본 플래그와 별도로 벤치한다.

MTP 플래그 ≠ 패키지 지원 — 12B audio drafter 함정 (2026-08-31)

문서의 --enable-speculative-decoding=true(CLI) / Engine enable_speculative_decoding(Swift/C++)는 런타임 스위치일 뿐이다. 실제 MTP는 .litertlm 안에 TF_LITE_MTP_DRAFTER 섹션이 있을 때만 동작한다 (CLI MTP, 이슈 #2498).

점검명령/증상
패키지 능력litert-lm-peek gemma-4-12B-it.litertlm — audio encoder는 있어도 MTP drafter 없음이면 speculative=false
강제 실패litert-lm run … --enable-speculative-decoding=true → NOT_FOUND: TF_LITE_MTP_DRAFTER not found in the model
현행 타깃E2B/E4B 등 drafter 포함 패키지에서 MTP 벤치·UI 노출. 12B audio-capable(litert-community/gemma-4-12B-it-litert-lm)은 비-MTP(audio→text) 경로만 가정

적용 팁: 앱/벤치에 MTP 토글을 달기 전 litert-lm-peek(또는 capability API)로 drafter 유무를 게이트한다. “문서에 플래그가 있다” ≠ “이 HF 패키지가 MTP를 실어 온다”.

LiteRT-LM v0.17.0 / v0.17.1 — local attention · Metal residency · Gemma 4 12B (2026-09-20)

v0.17.0(2026-09-09, e9fd8c5)은 v0.16.1(Windows JVM 플래그만) 이후 첫 기능 태그다.

  1. Optimized local attention: 메모리 오버헤드를 줄이고 더 긴 컨텍스트를 연다. 2026-07-21 use_ringbuffers_local_attention 축의 후속 — 장문 세션은 ringbuffer/local attention을 켠 빌드에서 피크 메모리를 다시 잰다.
  2. Apple Silicon Metal residency: Metal에 상주(residency)를 둬 Apple 디바이스 추론을 끌어올린다. Swift/Metal 경로(M 시리즈·iOS GPU) 벤치 시 v0.16 C prebuilt와 섞지 말고 0.17 xcframework(CLiteRTLM.xcframework.zip, CLiteRTLM_mac.xcframework.zip)를 핀한다.
  3. Gemma 4 12B 확장: 릴리스 노트는 12B에 멀티모달 + MTP + 확장 컨텍스트를 넣었다고 적는다. 2026-08-31 peek 함정(audio 12B 패키지에 TF_LITE_MTP_DRAFTER 없음)은 그 시점 HF 스냅샷에 대한 규칙이다. 런타임만 0.17로 올리고 예전 .litertlm을 재사용하면 drafter는 생기지 않는다. 업그레이드 후 litert-lm-peek으로 drafter·오디오 인코더를 다시 확인한 뒤에만 --enable-speculative-decoding을 켠다.
  4. v0.17.1(태그, 2026-09-16, 5e58e9a): tool call 정수 타입 버그 수정(f300c4f)만. 서빙 아키텍처 claim은 v0.17.0과 같다. 에이전트 tool-call 정수가 깨지면 0.17.0에 머물지 말고 0.17.1로 올린다.
# 0.17 라인으로 올린 뒤, 12B MTP는 peek가 drafter를 보여줄 때만
litert-lm-peek gemma-4-12B-it.litertlm
litert-lm run model.litertlm --backend=gpu --enable-speculative-decoding=true
  • 레퍼런스 앱 쇼케이스: Google AI Edge Gallery 모바일 레퍼런스 앱이 Android 및 iOS 공식 배포 가이드로 자리 잡았습니다. 로컬 Gemma 4 모델(E2B, E4B)을 탑재하여 오프라인에서 음성 대화, 도구 호출(Tool Calling), 멀티모달(Vision/Audio) 연산을 수행하는 구조를 시연하며, Speculative Decoding(MTP) 및 NPU 델리게이션을 통한 최대 2.2배 성능 향상 실사례를 제공합니다.
  • WASM 3.0 / Memory64 패리티 (2026-08-28 정정): Chrome/Edge·Firefox는 Memory64로 4GB 한계를 넘기지만 Safari/iOS Safari는 2026-08 기준 미지원(§브라우저 WASM·wiki/Models/Optimization-and-Serving/브라우저-기반-LLM-서빙-기술-및-아키텍처-2026.md). Multiple Memories·WasmGC는 엔진별 단계 도입; >4GB 부하는 Chromium/Firefox + wllama64 경로를 우선한다.

6.4 LiteRT v2.2.0 — FP16+FP32Accum 정밀도 · ROPE 합성 연산 · Rust 크레이트 (2026-09-11 업데이트)

Google AI Edge의 코어 런타임인 LiteRT v2.2.0이 정식 릴리스되며 GPU 정밀도 모드와 NPU 아키텍처 지원이 대폭 강화되었습니다.

  1. kLiteRtDelegatePrecisionFp16WithFp32Accum 모드 (GPU):
    • GPU 백엔드에서 CONV_2D, DEPTHWISE_CONV_2D, FULLY_CONNECTED, TRANSPOSE_CONV, BATCH_MAT_MUL 주요 텐서 연산 시 FP16 저장 및 연산을 수행하면서도 **FP32 누산(accumulation)**을 유지합니다.
    • 순수 FP16의 수치적 언더플로우/오버플로우 위험을 방지하고 FP32 대비 고속 연산 이점을 취하는 하이브리드 수치 정밀도를 보장합니다.
  2. ROPE Composite Ops 추가:
    • GPU 백엔드에 RoPE(Rotary Positional Embedding) 합성 연산자(composite ops)가 탑재되어, LLM 디코드(Decode) 성능이 기존 대비 약 5% 향상되었습니다.
  3. Intel Lunar Lake & Panther Lake NPU Full JIT/AOT 지원:
    • 기존 OpenVINO 래핑 수준을 넘어, LiteRT 런타임 단에서 Lunar Lake(NPU 4) 및 Panther Lake(NPU 5) 하드웨어에 대한 Full JIT/AOT 컴파일 가속을 공식 제공합니다.
  4. Qualcomm 및 MediaTek 확장:
    • Qualcomm QAIRT SDK 2.47 통합으로 최신 Snapdragon SoC 커버리지를 개선하고, MediaTek 칩셋에 대한 채널별 양자화(Channel-wise Quantization) 지원을 강화했습니다.
  5. Rust 생태계 진입 (google-ai-edge-litert):
    • crates.io에 google-ai-edge-litert 공식 크레이트가 등록되어 Rust 기반 온디바이스 에이전트 및 CLI 환경에서 LiteRT C++ SDK 기능을 직접 호출할 수 있습니다.
  6. 네이티브 FP8 데이터 타입 지원:
    • F8E4M3FN 및 F8E5M2 텐서 요소를 런타임 레벨에서 기본 지원하며, CPU 백엔드용 실험적 YNNPack 가속기가 추가되었습니다.

적용 팁: 모바일 GPU 서빙 시 수치 정밀도 불안정으로 인한 출력 품질 저하가 발생할 경우 kLiteRtDelegatePrecisionFp16WithFp32Accum 플래그를 활성화하고, Intel AI PC 배포 시에는 OpenVINO 외에도 LiteRT 2.2.0 JIT/AOT NPU 경로를 비교 벤치마크합니다.

7. 향후 전망

  • Apple Intelligence (Core AI): WWDC 2026에서 발표된 MCP(Model Context Protocol)를 통해 서드파티 에이전트가 시스템 컨텍스트에 안전하게 접근하는 기능이 강화될 예정입니다.
  • Unified Memory 가속: 모바일 기기의 통합 메모리 구조를 활용한 훈련 및 파인튜닝(On-device training) 기술이 MLX-Swift 등을 중심으로 확산되고 있습니다.

관련 문서: