GPWM: 3D 입자 모션 기반 생성형 물리 월드 모델

GPWM (Generative Particle World Model)(arXiv:2611.08338)은 2D 픽셀/비디오 외형을 생성하는 기존 비디오 월드 모델과 달리, 3D 물리 공간의 입자(particles)와 강체(rigid bodies) 모션을 직접 예측하는 통합 물리 월드 모델이다.

아키텍처 및 데이터셋

  • 통합 물리 표현: 단일 표현과 단일 가중치 세트(Unified GPWM)로 강체(rigid), 변형체(deformable), 천(cloth), 입상 물질(granular) 및 수동 물리·로봇 상호작용을 모두 다룬다.
  • 네트워크 구조: **객체 인식 다중 해상도 트랜스포머(Object-aware multi-resolution transformer)**에 Flow Matching과 Diffusion Forcing을 결합해 학습 지평선(training horizon)을 훨씬 넘는 장기 궤적을 일관되게 생성한다.
  • ParticleWorlds 코퍼스: 다양한 기하 구조, 물성, 상호작용, 로봇 임바디먼트를 포함한 2,550만 프레임(25.5M frames) 규모의 3D 입자 물리 코퍼스로 학습·평가한다.

노이즈 공간 계획 (Noise-Space Planning)

GPWM은 구동기(actuator)-객체 공동 모션의 생성형 사전 분포(generative prior)를 학습하므로, 접촉이 복잡한 조작(contact-rich manipulation)에서 기존 행동 공간 탐색과 다른 계획 방식을 취한다.

비교 축행동 공간 탐색 (Action-Space Search)GPWM 노이즈 공간 계획 (Noise-Space Planning)
탐색 대상비제약(unconstrained) 원시 행동 시퀀스학습된 월드 모델의 잠재 노이즈(latent noise)
접촉 조작 성능복잡한 접촉 시퀀스 발견 어려움밀기(pushing)·집기(picking)에서 대폭 우위
정책 의존성참조 궤적 또는 목표 특화 정책 필요참조 궤적·목표 특화 정책 없이 오픈루프 목표 달성

주요 성능

  • 6개 물리 도메인 전부에서 기존 최고 학습 동역학 베이스라인 대비 예측 오차 평균 31% 감소.
  • 단일 Unified GPWM이 도메인별 특화 베이스라인을 대부분 상회하고, 2개 도메인에서는 자체 전문가(specialist) 모델마저 능가하며 미지 기하·물성·객체 수·롤아웃 지평선으로 일반화.

🔗 관련 문서