MoE(Mixture-of-Experts) 모델: 프론티어 모델의 핵심 아키텍처
최근 등장하는 DeepSeek-R1, Kimi-K2, Qwen3와 같은 프론티어급 오픈 모델들은 대부분 MoE(Mixture-of-Experts) 아키텍처를 채택하고 있습니다. 비록 클로즈드 모델들은 아키텍처를 공개하지 않지만, 2024년 초에 GPT MoE 1.8T 모델의 존재가 간접적으로 언급된 바 있어, 대규모 MoE 모델이 사용될 가능성이 높습니다. 그렇다면 MoE가 왜 이처럼 프론티어 모델들의 주요 아키텍처가 되었을까요?
1. 높은 학습 및 추론 효율성
MoE 개념은 2017년 Google이 ‘Conditional Computation’ 개념을 제시하면서 본격적으로 주목받기 시작했습니다. 트랜스포머(Transformer) 모델의 학습 방식은 다양한 컨텍스트를 어텐션(attention) 메커니즘으로 학습한 후, 그 맥락에 필요한 가중치를 덴스 레이어(dense layer) 형태로 저장하는 방식입니다. 이때 특정 도메인의 데이터를 학습할 때 활성화되는 가중치는 상당히 희소(sparse)한 구조를 띠게 됩니다. 이는 모든 레이어의 모든 파라미터를 항상 학습시킬 필요가 없다는 것을 의미합니다. 이러한 관찰을 바탕으로 “라우터(router)를 두어 필요한 파라미터만 선택적으로 사용하자”는 방법론이 등장했고, 이것이 바로 MoE 구조의 핵심입니다.
MoE 관련 연구는 이미 2021년까지 대규모 실험이 진행되었지만, 실제 오픈 모델에서 확실한 성능을 보여주기 시작한 것은 DeepSeek 모델의 등장 이후부터입니다. 선행 연구들에서는 이미 덴스(Dense) 모델 대비 4~10배 수준의 학습 및 추론 효율을 보인다는 결과가 확인되었기 때문에, 효율성 측면에 대한 검증은 어느 정도 완료된 상태라고 볼 수 있습니다.
2. 모델 규모와 활성화의 중요성
일반적으로 모델은 클수록 견고하며, 사용하는 파라미터는 많을수록 좋다는 것이 일반론입니다. 특히 사전 학습(pretrain) 영역에서는 스케일 법칙(scale law)이 통용되고 있습니다. 절대적인 지식은 더 큰 파라미터를 가질수록 더 많은 정보를 담을 수 있어 유리합니다. 단순한 지식 보유를 넘어, 큰 모델을 사용하는 것만으로도 묵시적인 규칙(implicit rule)을 더 쉽게 학습할 수 있기 때문에, 최근 등장하는 대부분의 프론티어 모델들은 최소 100B 이상의 가중치(weight)를 사용하고 있습니다. (물론 SLM(Small Language Model)만으로도 충분한 성능을 낸다는 논문도 있지만, 이러한 SLM들의 성능은 대부분 큰 모델의 성능을 증류(distil)했을 가능성이 큽니다.)
결론적으로, 트랜스포머의 구조적 특성과 높은 GPU 비용으로 인해 학습 및 추론 효율성이 뛰어난 MoE 방식이 대부분의 프론티어 모델에서 채택될 가능성이 큽니다.
3. MoE 학습의 핵심: 정밀한 파라미터 활용
MoE 성능 향상에서 가장 중요한 점은 얼마나 적은 수의 파라미터를 활용하여 더 많은 정보를 뽑아낼 수 있는지입니다. 이는 다음 두 가지 요소로 정리할 수 있습니다.
- 라우터 로직의 정교함: 얼마나 정확하고 정교하게 컨디션을 나눌 수 있는지.
- 전문가(Expert)의 효율적 구성: 여러 전문가를 학습 효율적으로 구성할 수 있는지.
기본적인 MoE 아키텍처는 대부분 2020년의 GShard나 2021년의 Switch Transformers와 같은 초기 연구 구조에서 크게 벗어나지 않습니다. 결국 1번과 2번 요소의 디테일을 얼마나 잘 다듬었느냐가 실제 성능에 더 큰 영향을 미칩니다.
MoE 모델에서 전문가의 수와 학습 효율 사이에는 미묘한 트레이드오프가 존재합니다. 전문가의 수를 늘릴수록 더 정교한 지식 습득이 가능하지만, 각 전문가가 받는 학습 신호가 줄어들면서 결과적으로 전문가를 선택하는 ‘라우터’의 정확도가 떨어질 수 있습니다. 이를 방지하기 위해 다양한 밸런싱 기법이 사용되지만, 이는 어디까지나 불균형을 피하도록 ‘유도’하는 수준이지 100% 통제 가능한 영역은 아닙니다. 결국 이러한 미세한 컨트롤을 얼마나 잘 해내느냐가 기술력에 가깝다고 볼 수 있습니다.
우수한 성능을 보여준 프론티어 모델들도 아키텍처 자체의 혁신보다는 실험적인 접근을 통해 성능을 끌어올린 경우가 많습니다. 예를 들어, DeepSeekMoE나 Kimi K2의 경우 개별 FFN(Feed-Forward Network)의 규모를 줄이는 대신 전문가의 수를 늘려 성능 향상을 달성했습니다.
결론: MoE 모델은 효율성, 확장성, 그리고 정밀한 제어 기술을 통해 현대 대규모 언어 모델(LLM)의 발전을 이끄는 핵심적인 아키텍처로 자리매김하고 있습니다.
관련 외부 링크:
- GPT MoE 1.8T 모델 언급
- NVIDIA Technical Blog: Demystifying AI Inference Deployments for Trillion Parameter Large Language Models
설명 이미지:
- 제공된 내용에서 설명 이미지는 발견되지 않았습니다.
4. MoE 라우팅 최적화 및 최신 진화 트렌드 (2025-2026)
4.1 DeepSeek-V3의 보조 손실(Auxiliary Loss) 제거 및 동적 바이어스 조절
DeepSeek-V3는 기존 대규모 MoE 모델이 겪던 보조 손실(Auxiliary Loss)의 한계를 해결했습니다.
- 기존 한계: 전문가 간 토큰 분배의 균형을 강제하기 위한 보조 손실(Auxiliary Loss) 페널티 규제는 라우터가 가장 적합한 전문가를 선택하는 것을 간섭하여 모델의 본래 언어 학습 목표(Cross-Entropy Loss) 성능 상한선을 깎는 문제를 야기했습니다.
- 해결 방안 (동적 바이어스 조절): 보조 손실을 완전히 배제하고, 라우터 연산에 동적으로 변하는 전문가별 외부 바이어스(bias)를 도입했습니다. 특정 전문가의 작업량이 많아지면 바이어스 값을 줄여 다른 전문가가 선택되도록 하고, 노는 전문가가 있으면 바이어스를 높여 선택을 유도합니다. 이 바이어스는 역전파로 학습되는 파라미터가 아니라 실제 전문가별 연산 빈도 카운트에 기반하여 주기적으로 업데이트되는 외부 제어값입니다. 이를 통해 언어 모델은 CE Loss에 100% 집중하면서도 GPU 디바이스 간 연산 불균형 및 병목 현상을 방지하였습니다.
4.2 ReMoE 및 AoE (ICLR 2025 / ICML 2025)
기존 MoE의 단순 라우팅(내적 후 Top-K 선정 및 Softmax 비율 결합)의 한계를 극복하려는 시도들이 등장했습니다.
- ReMoE (Fully Differentiable Router-Free MoE - ICLR 2025): Top-K 라우팅의 이산성(discreteness)으로 인한 불연속적 그래디언트 전달 문제를 해결하기 위해, 라우터 학습을 완전히 미분 가능한 연속 공간으로 구성하여 정교한 학습을 가능하게 한 모델입니다.
- AoE (Routing-Free MoE - ICML 2025): 라우터 모듈 자체를 제거하여, 라우팅으로 인한 오버헤드와 연산 낭비를 없앤 혁신적인 라우터-프리(Router-Free) 아키텍처입니다.
4.3 RFMoE 및 UoE
- RFMoE (Routing-Free Mixture-of-Experts): ReMoE의 라우터 모듈과 AoE의 Top-K 메커니즘을 모두 없앤 Routing-Free MoE의 결정판입니다. 라우팅 모듈 없이 전문가 연산을 최적화하여 오버헤드를 극소화했습니다.
- UoE (Union-of-Experts): AoE 저자진들이 AoE가 가진 연산 낭비 딜레마를 극복하고 전문가들 간 연산 효율을 높이기 위해 제안한 전문가 통합 아키텍처입니다.
4.4 LatentMoE & Stable LatentMoE (NVIDIA & Kimi K3)
대규모 Sparse MoE의 가장 큰 병목은 전문가 수가 많아짐에 따라 GPU 장비 간에 발생하는 통신 비용(All-to-All 통신)입니다. Kimi K3는 896개의 전문가를 사용하므로 이 네트워크 병목이 매우 심각합니다.
- LatentMoE (NVIDIA): 분산 GPU 환경에서 All-to-All 통신 병목을 해결하기 위해 토큰 데이터를 저차원 잠재 공간(Latent Space)으로 압축하여 전송하고, 수신 측에서 복원하는 방식을 제안하여 통신 대역폭을 절약하고 절약된 자원을 전문가 확장에 할당합니다.
- Stable LatentMoE (Kimi K3): LatentMoE의 학습 불안정성을 해결하여 실제 대규모 모델(Kimi K3) 프리트레이닝 스케일에서 안정적으로 동작하도록 최적화한 기법입니다. 통신 오버헤드를 줄이면서 896개 전문가 MoE의 효율성을 극대화하였습니다.
원본 자료 출처 및 히스토리
- DeepSeek-V3 및 MoE 개념: 2026-08-23-MoE-Architecture-and-DeepSeek-V3-Dynamic-Bias-Control.md
- ReMoE & AoE: 2026-08-23-ReMoE-and-AoE-MoE-Routing-Optimization.md
- RFMoE & UoE: 2026-08-23-RFMoE-and-UoE-MoE-Computation-Optimization.md
- LatentMoE & Stable LatentMoE: raw/Untitled 6.md