WebLLM 엔진 (WebLLM Engine)
WebLLM은 고성능 브라우저 기반 LLM 추론 엔진으로, WebGPU 가속을 활용하여 다양한 소형 및 대형 언어 모델을 웹에서 직접 실행합니다.
핵심 특징
- 고성능 추론: WebGPU를 통한 하드웨어 가속으로 네이티브에 근접한 속도 제공.
- OpenAI API 호환:
openai라이브러리를 그대로 사용하여 브라우저 내 로컬 모델에 쿼리 가능. - Web Worker 지원: 무거운 연산을 백그라운드 스레드로 분리하여 UI 응답성 유지.
- Plug-and-Play: NPM, Yarn, CDN을 통한 손쉬운 통합 지원.
지원 모델 (MLC 포맷)
- Llama 시리즈: Llama 2, 3 (최대 8B+).
- 소형 모델: Phi-3, Gemma 2B, Qwen 1.5/2.
- 기타: Mistral, RedPajama 등 다수 오픈소스 모델.
사용 예시
import { CreateWebWorkerMLCEngine } from "@mlc-ai/web-llm";
const selectedModel = "Llama-3-8B-Instruct-q4f16_1-MLC";
const engine = await CreateWebWorkerMLCEngine(
new Worker(new URL("./worker.js", import.meta.url), { type: "module" }),
selectedModel
);
const reply = await engine.chat.completions.create({
messages: [{ role: "user", content: "안녕, 넌 누구니?" }]
});최적화 기법
- Quantization (양자화):
q4f16_1등 4-bit/8-bit 양자화를 통해 모델 크기 축소 및 메모리 사용량 절감. - Caching: 모델 가중치 및 컴파일된 셰이더를 브라우저 캐시에 저장하여 재로딩 속도 개선.
v0.2.85 캐시·워커 (2026-09-08)
릴리스는 모델 라이브러리 v0_2_84/base를 유지한다. 엔진만 올리고 가중치는 재받지 않는다.
- OPFS synchronous access handle과 committed cache record로 캐시 커밋 전 읽기를 막는다.
- 서비스 워커 핸들러를 기동 시 등록하고, 복구된 워커의 모델 상태를 보존해 reload 루프를 끊는다.
- Chat Completions
created는 초 단위. NaN 샘플링 파라미터는 거절하고, 잘못된 structural tag는 행(hang) 대신 실패한다. - 표준화·3W 스택 맥락: wiki/Engineering/Development-Environment/WebGPU-및-WebNN-표준화-현황-2026.md.
v0.2.86 Gemma 4 E2B · 카탈로그 재빌드 (2026-10-11)
v0.2.86(c42c366)은 가중치 카탈로그를 바꾼다. v0_2_86/base로 올리고, 엔진만 올리는 0.2.85와 다르다.
- Gemma 4 E2B IT —
q4f16_1/q4f32_1, 텍스트+오디오. FP32 변형은shader-f16불필요. - TVM —
@mlc-ai/[email protected]. WebGPU 라이브러리 224개 재빌드(base 112 + sg32 112). - Phi-3.5 vision — 기본 정사각 이미지용 4K-prefill 라이브러리(기존 2K는 binary 폴더에 잔류).
- 로더 — manifest 기반 audio/image(옵트인, 기존 레코드는 legacy 경로). crash-resumable generation. 중단 대화·취소 스트림·모델 lock·토큰 카운트·오디오 cleanup 수정.
핀은 @mlc-ai/[email protected]. 브라우저 서빙: wiki/Models/Optimization-and-Serving/브라우저-기반-LLM-서빙-기술-및-아키텍처-2026.md.
v0.2.87 카탈로그 v0_2_87 · TVM 0.28.0-dev1 (2026-10-30)
v0.2.87은 가중치 카탈로그를 다시 바꾼다. v0_2_87(subgroup 변형 포함). 엔진만 올리는 패치가 아니다.
- TVM —
@mlc-ai/[email protected](0.28.0-dev0에서 한 칸). - Gemma 4 q4f32 prefill 성능 개선.
- sliding-window KV cache 수정.
- Qwen3.5 JSON schema 생성 수정.
- Gemma 3 context 처리 수정. 예제·문서는 0.2.87로.
핀은 @mlc-ai/[email protected]. 기존 v0_2_86/base 캐시만 있으면 새 바이너리를 받지 못한다. UniTutor 제품 핀은 별축(0.2.85) — UniTutor-On-Device-WebLLM.md.
v0.2.88 엔진 패치 · TVM 0.28.0-dev2 (2026-11-10)
v0.2.88은 카탈로그 재빌드가 아닌 엔진/런타임 패치다(v0_2_87 가중치 유지).
- 스트리밍 completion prompt echo 수정.
- selected-token logprobs · buffered UTF-8 logprobs 수정.
- prefill 중 끝나는 completion의 decode rate 수정.
- 설치된 패키지 TypeScript 타입체크 수정.
@mlc-ai/web-runtime→0.28.0-dev2.
핀은 @mlc-ai/[email protected]. UniTutor 제품 핀은 별축.