🌐 브라우저 기반 LLM 서빙 기술 및 아키텍처 (2026)

2026년 현재, WebGPU와 WebAssembly(Wasm)를 활용한 브라우저 내 LLM 추론 기술은 로컬 퍼스트 AI(Local-first AI)의 핵심 표준으로 자리 잡았습니다.

1. 핵심 기술 스택 (2026.09 업데이트)

WebAssembly 3.0 & Memory64 (2026-08-30 업데이트)

  • Memory64 공식 표준화 및 4GB 제한 제거: WebAssembly Memory64 제안이 공식 표준 지위로 승격되었으며, Chrome/Edge 133+ 및 Firefox 134+에 이어 주요 브라우저 엔진에 정식 통합되었습니다. Wasm 선형 메모리 인덱스를 64비트로 확장하여 4GB 메모리 제한을 완전히 극복하고 최대 16GB(JS API 상한) 이상의 가용 힙 영역을 확보하여 브라우저 내에서 직접 대형 LLM 및 대규모 KV 캐시를 구동할 수 있습니다. (iOS/Safari는 2026-08 기준 여전히 미지원으로 크로스플랫폼 배포 시 baseline 차단 요인)
  • 성능 영향: Memory64는 메모리 주소 범위 접근 시마다 64-bit bounds check를 수행하므로 wasm32 대비 10%~100%의 CPU 연산 오버헤드가 발생할 수 있습니다. 따라서 4GB를 초과하는 모델 가중치를 로드해야 하는 고용량 워크로드에만 선택적으로 활성화하는 설계가 권장됩니다.
  • wllama64: Wllama 포크가 선형 메모리를 기본 4GB에서 16GB로 확장하여 Chromium 137+ Memory64 최적 경로를 기본 제공하며, 미지원 브라우저 환경에 대해서는 4GB 제한의 wasm32 하위 호환성(Wasm32 compatibility layer)을 자동 협상합니다.
  • WASM 3.0 표준화: 멀티 스레딩(Multi-threading) 및 WasmGC(Garbage Collection)를 기본 포함하여 Wasm 엔진 레벨의 CPU 멀티코어 최적화가 완비되었습니다. (JSPI는 Safari 지연이 남음 — WebAssembly-WASM-for-AI.md)

WebGPU & WebNN (2026.09.04 업데이트)

  • WebGPU Compatibility Mode: OpenGL ES 3.1+ 하드웨어에서도 WebGPU를 실행할 수 있게 되어, 전 세계 모바일 기기의 85% 이상을 지원하게 되었습니다.
  • WebNN (NPU 가속): W3C Candidate Recommendation Draft (2026.09.04 개정). Transformer 전용 가속 연산자 및 MLTensor API를 통해 WebGPU와 WebNN 간 zero-copy 버퍼 공유가 가능해져 데이터 이동 병목을 제거했습니다. DirectML/CoreML/QNN 플랫폼 백엔드 연동을 통해 브라우저 기반 온디바이스 NPU 추론을 본격 지원합니다.

2. 주요 프레임워크 및 최적화

  • Transformers.js v4 (2026.02/06 업데이트): C++ 기반 ONNX Runtime 런타임 전면 채택. 2026년 6월 벤치마크 결과, 순수 JS 기반 v3 대비 최대 10배의 속도 향상을 보이며 Mixtral 등 MoE 아키텍처를 네이티브 지원합니다.

  • WebLLM (MLC AI): Main + Agent + WebLLM Worker의 3W Thread Model을 통해 추론 중에도 60fps UI를 유지합니다. v0.2.87(2026-10-30)은 v0_2_87 카탈로그 + TVM 0.28.0-dev1. Gemma 4 q4f32 prefill·sliding-window KV·Qwen3.5 JSON schema 수정. 0.2.86 E2B 모델·0.2.85 OPFS/워커 패치는 유지 — WebLLM-Engine.md.

  • Speculative Decoding: 브라우저 엔진 수준에서 추측적 디코딩을 통합하여 모바일 브라우저 체감 속도를 2배 이상 향상시켰습니다.

  • Chrome 내장 AI (Gemini Nano): Prompt API(window.ai)를 통해 별도의 모델 다운로드 없이 OS 수준에서 제공되는 모델을 표준화된 방식으로 활용 가능합니다.

3. 2026 SOTA 모델 및 성능 지표

체급대표 모델성능 (t/s)특이사항
TinySmolLM2-360M100+실시간 번역/요약
SmallLlama 4 Scout30-50Sweet Spot. 10M 컨텍스트, RTX 4070(1M context) 시 4.1 t/s
MidGemma 3 (7B-14B)15-25복잡한 에이전트 작업
LargeLlama 4 Maverick (20B+)5-15전문 분석. M3 Max 25-35 t/s (2-bit)
  • Llama 4 시리즈: Scout(17B MoE)는 10M 컨텍스트 윈도우를 지원. Groq 가속 시 2,600 t/s 및 $0.08/1M 토큰(입력) 수준의 경제성 확보.

4. 최신 최적화 기법

  • Speculative Speculative Decoding (SSD): Saguaro 알고리즘(arXiv:2603.03251) 도입. 비동기 병렬 검증 방식으로 기존 대비 최대 5배 속도 향상.
  • KIV (K-vector Indexing): 2026년 4월 발표. 컨텍스트 길이에 관계없이 VRAM 사용량을 약 12MB로 일정하게 유지하여 소비자용 GPU에서 초장문 처리 가능.
  • SolidAttention: SSD(저장장치) 오프로딩을 통해 저사양 기기에서 대형 모델 구동 지원.
  • WebMCP: 모델이 브라우저 로컬 데이터(파일, 센서)에 안전하게 접근하는 표준 프로토콜.

관련 원천 데이터:

태그: webgpu webassembly localai llama4 transformersjs webllm