LeWorldModel (LeWM): JEPA 기반의 차세대 세계 모델 (2026)
1. 개요 (Overview)
2026년 3월, 메타(Meta)의 얀 르쿤(Yann LeCun)은 생성형 비디오(Generative Video)의 한계를 선언하며, 픽셀 생성 없이 세계의 물리 법칙을 학습하는 **LeWorldModel (LeWM)**을 공개했습니다. 이는 **JEPA (Joint-Embedding Predictive Architecture)**를 기반으로 하며, AI가 단순히 ‘보는’ 것을 넘어 ‘예측하고 계획’하는 능력을 비약적으로 향상시킨 결과물입니다.
2. 핵심 아키텍처: JEPA의 진화
기존의 생성형 모델(Diffusion, Transformer)이 픽셀 하나하나를 예측하는 데 막대한 자원을 소모했다면, LeWM은 추상적인 잠재 공간(Latent Space)에서 미래 상태를 예측합니다.
- 표현 붕괴(Representation Collapse) 해결: 복잡한 정규화 기법 없이 단 두 개의 손실 함수(Loss terms)만으로 안정적인 엔드투엔드 학습에 성공했습니다.
- 초고속 계획(Fast Planning): 기존 세계 모델(DINO-WM 등) 대비 계획 속도가 약 48배 향상되었습니다. 단일 GPU에서 1초 미만의 시간 내에 수천 개의 미래 시나리오를 시뮬레이션할 수 있습니다.
- 물리적 일관성: 픽셀 기반 모델이 흔히 저지르는 ‘물체의 텔레포트’나 ‘갑작스러운 사라짐’ 같은 오류를 감지하고 방지합니다. 잠재 공간에서 실제 물리 법칙(중력, 충돌 등)을 내재적으로 학습했기 때문입니다.
3. OpenAI Sora 서비스 종료와의 비교
| 비교 항목 | 생성형 비디오 (Sora 등) | 세계 모델 (LeWM/JEPA) |
|---|---|---|
| 목표 | 시각적으로 완벽한 영상 생성 | 시스템의 미래 상태 예측 및 계획 |
| 학습 대상 | 픽셀(Pixel) 데이터 | 추상적 특징(Feature) 및 물리 법칙 |
| 연산 효율 | 극도로 높음 (고비용) | 상대적으로 낮음 (저비용/고성능) |
| 주요 용도 | 콘텐츠 제작, 마케팅 | 로보틱스, 자율주행, 물리 시뮬레이션 |
4. AMI Labs와 상용화 전망
얀 르쿤은 이 기술의 상용화를 위해 **AMI Labs (Advanced Machine Intelligence)**를 설립했으며, 1.4조 원 규모의 투자를 유치했습니다. LeWM은 향후 다음과 같은 분야에 혁신을 가져올 것으로 기대됩니다.
- 범용 로봇 에이전트: 현실 세계의 복잡한 물리적 작업을 수행하기 전, 가상 공간에서 수백만 번의 시뮬레이션을 초고속으로 수행.
- 에이전트 의사결정 인프라: 복잡한 비즈니스 워크플로우에서 미래 결과의 확률적 분포를 예측하여 최적의 경로를 제시.
출처: AMI Labs Research
관련 노트: [[wiki/Models/RL/OpenAI-Sora-Shutdown-Robot-Pivot]], [[wiki/Agents/Frameworks/구글의-Embodied-Agent-SIMA]], [[wiki/Business/2026년-로봇-공학-예측]]