JEPA와 LeWorldModel: 시각 데이터에서 물리 법칙을 학습하는 차세대 AI

개요

Meta의 얀 르쿤(Yann LeCun)이 주도하는 JEPA(Joint-Embedding Predictive Architecture) 연구는 기존의 토큰 기반 생성형 AI(LLM, Sora 등)가 가진 한계를 극복하고 인간 수준의 세계 이해 능력(World Model)을 갖추는 것을 목표로 합니다.

핵심 기술 및 모델

1. LeWorldModel (LeWM)

  • 픽셀 없는 학습: 원시 픽셀을 직접 생성하는 대신, 잠재 공간(Latent Space)에서 물리적 법칙과 인과 관계를 학습합니다.
  • 엔드투엔드 세계 모델: 시각 데이터로부터 직접 세계 모델을 구축하는 최초의 모델 중 하나로, 물리적 일관성이 매우 높습니다.

2. Next-Concept Prediction (다음 개념 예측)

  • 기존의 ‘다음 토큰 예측’ 방식은 표면적인 텍스트 패턴 학습에 그치는 경우가 많습니다.
  • JEPA는 데이터 이면의 추상적 개념과 물리적 상태를 예측함으로써, 더 고차원적인 추론과 계획(Planning)을 가능하게 합니다.

3. V-JEPA 2와 로봇 공학

  • 압도적 속도: 물리적 추론 및 행동 계획에서 Nvidia의 Cosmos 모델보다 30배 빠른 처리 속도를 기록했습니다.
  • 이는 실시간 반응이 중요한 로봇 제어 및 자율 주행 분야에서 혁명적인 성능 향상을 의미합니다.

생성형(Generative) vs 예측형(Predictive)

  • OpenAI Sora (생성형): 시각적 완성도와 화려함에 집중하지만, 물리 법칙을 어기는 ‘할루시네이션’이 빈번함.
  • Meta JEPA (예측형): 시각적 화려함보다는 물리적 일관성과 효율성에 집중하며, AI가 세계를 ‘이해’하는 데 특화됨.

시사점

  • AI의 발전 방향이 단순한 ‘말 잘하는 비서’에서 ‘세계를 이해하고 행동하는 지능’으로 전환되고 있습니다.
  • JEPA 아키텍처는 자율 주행, 로봇 공학, 복잡한 시뮬레이션 환경에서 핵심적인 역할을 할 것으로 기대됩니다.

참고 및 관련 노트