JEPA와 LeWorldModel: 시각 데이터에서 물리 법칙을 학습하는 차세대 AI
개요
Meta의 얀 르쿤(Yann LeCun)이 주도하는 JEPA(Joint-Embedding Predictive Architecture) 연구는 기존의 토큰 기반 생성형 AI(LLM, Sora 등)가 가진 한계를 극복하고 인간 수준의 세계 이해 능력(World Model)을 갖추는 것을 목표로 합니다.
핵심 기술 및 모델
1. LeWorldModel (LeWM)
- 픽셀 없는 학습: 원시 픽셀을 직접 생성하는 대신, 잠재 공간(Latent Space)에서 물리적 법칙과 인과 관계를 학습합니다.
- 엔드투엔드 세계 모델: 시각 데이터로부터 직접 세계 모델을 구축하는 최초의 모델 중 하나로, 물리적 일관성이 매우 높습니다.
2. Next-Concept Prediction (다음 개념 예측)
- 기존의 ‘다음 토큰 예측’ 방식은 표면적인 텍스트 패턴 학습에 그치는 경우가 많습니다.
- JEPA는 데이터 이면의 추상적 개념과 물리적 상태를 예측함으로써, 더 고차원적인 추론과 계획(Planning)을 가능하게 합니다.
3. V-JEPA 2와 로봇 공학
- 압도적 속도: 물리적 추론 및 행동 계획에서 Nvidia의 Cosmos 모델보다 30배 빠른 처리 속도를 기록했습니다.
- 이는 실시간 반응이 중요한 로봇 제어 및 자율 주행 분야에서 혁명적인 성능 향상을 의미합니다.
생성형(Generative) vs 예측형(Predictive)
- OpenAI Sora (생성형): 시각적 완성도와 화려함에 집중하지만, 물리 법칙을 어기는 ‘할루시네이션’이 빈번함.
- Meta JEPA (예측형): 시각적 화려함보다는 물리적 일관성과 효율성에 집중하며, AI가 세계를 ‘이해’하는 데 특화됨.
시사점
- AI의 발전 방향이 단순한 ‘말 잘하는 비서’에서 ‘세계를 이해하고 행동하는 지능’으로 전환되고 있습니다.
- JEPA 아키텍처는 자율 주행, 로봇 공학, 복잡한 시뮬레이션 환경에서 핵심적인 역할을 할 것으로 기대됩니다.