리벨리온 ATOM-Max NPU 및 vLLM-RBLN 최신 동향 (2026)

2026년 현재 리벨리온(Rebellions)은 ATOM-Max NPU와 고도화된 vLLM-RBLN 소프트웨어 스택을 통해 고밀도, 저전력 LLM 추론 시장에서 강력한 경쟁력을 확보하고 있습니다.

1. ATOM-Max NPU 하드웨어 사양

ATOM-Max는 데이터 센터급 확장이 가능하도록 설계된 멀티 다이(Multi-die) NPU 카드입니다.

항목사양 (단일 카드)서버 구성 (8개 카드)
FP16 연산 성능128 TFLOPS1,024 TFLOPS (1 PFLOPS)
INT8 연산 성능512 TOPS4,096 TOPS
메모리 용량/대역폭64GB GDDR6 / 1 TB/s512GB / 8 TB/s
상호 연결 (Interconnect)PCIe Gen5 x16RSD (Rebellions Scalable Design)
  • 효율성: 기존 NVIDIA L40S 및 A100 대비 토큰당 소비 전력(TPS/W) 면에서 최대 44% 이상의 우위를 보입니다.

2. vLLM-RBLN 소프트웨어 업데이트

vLLM-RBLN 플러그인은 2026년 상반기 업데이트를 통해 vLLM 에코시스템의 “First-class” 타겟으로 성숙했습니다.

주요 기능 (2026.05)

  • Native PyTorch 통합: torch.compile 기반 아키텍처를 채택하여 모델 이식성과 연산 속도를 동시에 확보했습니다.
  • 고급 서빙 기술 지원:
    • PagedAttention & FlashAttention: NPU 하드웨어 수준에서 직접 지원하여 메모리 효율을 극대화합니다.
    • Continuous Batching: 처리 대기 중인 요청을 동적으로 배치에 추가하여 처리량을 높입니다.
    • Prefix Caching: 반복되는 시스템 프롬프트나 컨텍스트를 캐싱하여 Prefill 속도를 단축합니다.
  • 모델 지원 범위: Llama-3 70B와 같은 거대 모델뿐만 아니라 Qwen-MoE, LG EXAONE 3.5 등 최신 모델에 최적화된 서빙 런타임을 제공합니다.

표준 컴파일 및 배포 워크플로우

ATOM-Max NPU 환경에서 LLM 모델을 실 서비스에 배포하는 표준 과정은 다음과 같이 구성됩니다:

  1. 모델 컴파일 및 최적화: Hugging Face 형식의 원본 LLM(예: Llama, Qwen, EXAONE 등)을 optimum-rbln 라이브러리를 통해 ATOM NPU 아키텍처 사양에 최적화된 중간 표현(IR)으로 AOT 컴파일합니다. 이 컴파일 과정에서 하드웨어의 메모리 구조 및 가용 연산 리소스를 정밀 분석하여 실행 계획을 수립합니다.
  2. API 서빙 배포: vLLM-RBLN 플러그인을 활용하여 컴파일된 모델 가중치를 로드하고 추론 API 엔드포인트를 기동합니다. 이 통합 구조를 통해 수동으로 복잡한 파이프라인 코드를 작성할 필요 없이 vLLM의 엔진 구조(PagedAttention 등)를 고스란히 재사용하여 대량의 쿼리를 병렬 처리할 수 있게 됩니다.
  3. 스케일링: 대량 분산 환경에서는 RSD(Rebellions Scalable Design) 네트워크 상에서 다중 장치(Multi-chip/Multi-node)로 확장 구동하여 초대형 모델 및 혼합 전문가(MoE) 아키텍처 모델을 기동합니다.

v0.11.2.dev0 (2026-07-24)

v0.11.2a0 / v0.11.2a1 (2026-07-28)

v0.11.2a2 (2026-07-29)

v0.11.2a3 (2026-07-30)

  • optimum-rbln 0.11.1a6 → v0.11.1rc0 (#851/#855)
  • metrics: warmup runtime report backlog를 측정 전 drain (#852)
  • 동시 태그 v0.11.1rc0: metrics_v2 성능 리포트 재작업(#811), empty rbln_config compile-cache hash 제외(#822)
  • 설치: uv pip install "vllm-rbln==0.11.2a3"

v0.11.2a4 · stable v0.11.1 (2026-07-31)

v0.11.2a5 (2026-08-03)

v0.11.2a6 / v0.11.2a7 (2026-08-04)

  • a6: custom-op 등록을 rebel-compiler로 defer(+fallback) (#845); CODEOWNERS
  • a7: vllm 0.24.0 bump (#829); optimum 테스트 tests/optimum 통합(#861)
  • 설치: uv pip install "vllm-rbln==0.11.2a7" — wheels index는 릴리스 노트 vllm 버전과 맞출 것
uv pip install "vllm-rbln==0.11.2a7" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.2a8 (2026-08-06)

  • sampler: greedy one-hot을 softmax해 near-uniform이 되지 않도록 수정 (#881)
  • multimodal: 입력 의존 rbln_config 하드코딩 제거 (#834)
  • specdec: SuffixDecodingProposer.propose에 num_speculative_tokens 전달 (#893)
  • dtensor: rejection sampler dtensor (#816); MTP+dtensor recompile (#895)
  • DP: dummy decode batch를 DP-agreed bucket에 pad (#894)
  • compiler: rebel-compiler 0.11.2.dev158+gbaabdcac.prod (#892); native-path tests (tests/native, #887)
  • 설치: uv pip install "vllm-rbln==0.11.2a8" — a7과 동일하게 wheels index를 vllm 핀에 맞춤
uv pip install "vllm-rbln==0.11.2a8" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.2a9 (2026-08-12) · v0.11.1.post1 (2026-08-14)

  • mega-cache (#805): VLLM_CACHE_ROOT/rbln/<model>/<config_signature>/rank{N}/mega_cache.bin 원자 번들. warmup(prefill·decode·logits·bucket) 전부 성공한 뒤에만 durable. 중간 실패 시 부분 .rbln을 남기지 않음. config_signature = vllm_config 해시 + compile env + rebel major.minor(patch는 캐시 호환, minor bump는 무효).
  • 디버그 레이어 컷: VLLM_RBLN_NUM_HIDDEN_LAYERS=N으로 앞 N층만 빌드 (#914). 번들 키에도 포함해야 함(후속 #917).
  • Qwen3.5: block_size == max_model_len reject (#912).
  • vLLM 0.24 DP: worker가 config의 DP device mapping을 읽음 (#896). decode 그래프 static output (#904). E2E 메트릭은 sampler 호출이 아니라 execute_model pass 단위 (#899).
  • deps: optimum-rbln==0.11.2a0 (#890).
  • stable post1: Qwen3 MoE 레지스트리 (#930 / #916). 프리릴리즈 추적은 a9, 프로덕션 핀은 0.11.1.post1.
  • SDK packaging mimalloc: rebel-compiler==0.11.1.post1가 v0.11.1 휠에 묶여 자동 로드되던 mimalloc을 제거 — 간헐적 수치 불일치·NaN 완화 (release note SDK 2026.07.31.0).
  • 설치: uv pip install "vllm-rbln==0.11.2a9" — a8과 동일하게 wheels index를 vllm 0.24.0에 맞춤. 상세 wiki/Models/Optimization-and-Serving/리벨리온-ATOM-Max-기반-EXAONE-4.5-최적화-가이드.md
uv pip install "vllm-rbln==0.11.2a9" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu
# stable line (Qwen3 MoE):
# uv pip install "vllm-rbln==0.11.1.post1"

v0.11.2a10 · v0.11.2a11 (2026-08-19)

  • mega-cache 키 완성: VLLM_RBLN_NUM_HIDDEN_LAYERS(#917) + warm-up graph set(#926)를 번들 키에 포함 — a9 디버그 레이어 컷의 잘못된 캐시 히트 방지.
  • Qwen3 MoE 레지스트리 프리릴리즈 경로(#916); Qwen3-Reranker score API(#846) + chat template 계약(#854).
  • PP: refactored scheduler/runner에 pipeline parallelism(#900); nixl KV handshake (pp_rank, tp_rank)(#924).
  • sampler: temperature를 compiled top-k/top-p 그래프 안에 적용(#921); sampled ids int32(#919); logits-processor dtype=model dtype(#927).
  • deps: optimum-rbln==0.11.2a1(#925). custom-op 정의는 vllm-rbln 소유분 drop(#908).
  • 설치: uv pip install "vllm-rbln==0.11.2a11" — wheels index는 vllm 0.24.0 핀 유지. 상세 wiki/Models/Optimization-and-Serving/리벨리온-ATOM-Max-기반-EXAONE-4.5-최적화-가이드.md
uv pip install "vllm-rbln==0.11.2a11" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.3.dev0 (2026-08-21)

uv pip install "vllm-rbln==0.11.3.dev0" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.3a4 / v0.11.3a5 (2026-08-31)

uv pip install "vllm-rbln==0.11.3a5" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.3a6 (2026-09-03)

uv pip install "vllm-rbln==0.11.3a6" \
  --extra-index-url https://wheels.vllm.ai/0.24.0/cpu \
  --torch-backend cpu

v0.11.0 (2026-07)

  • 공식 플러그인 통합: 기존의 독자적인 vLLM 포크(fork) 유지 구조에서 탈피하여 vLLM의 공식 플러그인 아키텍처를 통해 통합되도록 대대적인 리팩토링이 진행되었습니다.
  • 최신 모델 및 프레임워크 지원:
    • LG EXAONE 4.5 VL (33B) 모델 컴파일 및 서빙 지원.
    • Gemma 4 (26B-A4B MoE 및 31B) 지원 추가.
    • Hugging Face Transformers v5로 마이그레이션하여 apply_chat_template 표준 인터페이스를 전면 차용.
    • 의존성 핀: transformers 5.8.1 및 torch 2.11.0+cpu.
  • 파라미터 표준화: 분산 및 멀티 NPU 제어를 명확히 하기 위해 기존의 tensor_parallel_size 파라미터를 num_devices로 명칭 변경했습니다 (기존 인자는 deprecated로 하위 호환 유지).
  • 도구 대체: NPU 관리 도구인 rbln-stat이 deprecated 처리되었으며, 대체 도구로 rbln-smi를 사용할 것이 권장됩니다.
  • 설치: uv pip install "vllm-rbln==0.11.0" (vLLM 0.22.0 wheels index 대응)

3. 엔터프라이즈 및 클라우드 생태계

  • Red Hat OpenShift AI 지원: 2026년 5월부터 Red Hat OpenShift AI에서 공식 인증된 컨테이너 이미지와 vLLM RBLN ServingRuntime을 제공하여 기업용 AI 인프라 배포가 용이해졌습니다.
  • RSD (Rebellions Scalable Design): 여러 장치를 하나의 거대한 가속기처럼 사용하는 분산 추론 프레임워크를 통해 초거대 모델 대응력을 높였습니다.

RBLN Container Toolkit (CDI) — SDK v0.11.1 / 2026-08-28

공식 문서 기준, Docker·containerd·CRI-O가 **Container Device Interface(CDI)**로 호스트 RBLN 라이브러리·rbln-smi를 컨테이너에 주입한다. 앱 코드 변경 없이 NPU 접근이 가능하며, 범위는 CDI 스펙 생성·런타임 설정이다(RSD 그룹 할당은 NPU Allocation 가이드 별도).

바이너리역할
rbln-ctkCDI 스펙 생성·런타임 configure·시스템 점검
rbln-ctk-daemonK8s DaemonSet용 자동 설정·헬스·graceful shutdown
rbln-cdi-hook컨테이너 내 ldcache/심링크 OCI hook
배포대상디바이스 주입
DEB/RPM단독 Docker 호스트/dev/rbln* + 대응 /dev/rsd* CDI 주입, NPU↔RSD는 librbln-ml
컨테이너 이미지K8s DaemonSet디바이스 노드 미방출 — device-plugin/DRA가 Pod /dev/rbln* 소유; 이미지에 librbln-ml 없음

전제: 호스트에 RBLN 드라이버를 툴킷보다 먼저 설치(librbln-ml3/librbln-ml hard dep). Ubuntu 22.04/24.04·RHEL 9+, x86_64.

# apt 레포 등록 후
sudo apt-get install rbln-container-toolkit
sudo rbln-ctk cdi generate
sudo rbln-ctk runtime configure
docker run --device rebellions.ai/npu=all -it IMAGE_NAME:TAG

참고: Container Toolkit · NPU Allocation. 제품 발표상 Model Zoo에 Qwen3.5(0.8B–27B)·Qwen3.6-27B가 추가됐다는 2차 보고가 있으나, 설치·런타임 정본은 docs.rbln.ai를 따른다.

4. 향후 로드맵: REBEL NPU

리벨리온은 차세대 REBEL NPU를 준비 중입니다.

  • 메모리: 144GB HBM3E 탑재 예정.
  • 목표: NVIDIA H100/H200급의 성능을 제공하면서도 NPU 특유의 높은 전력 효율을 유지하여 하이엔드 추론 시장을 공략할 계획입니다.

관련 문서: