Meta의 충격 논문: AI, 명령을 버리고 세계를 얻다?

이 글은 Meta의 논문 “Learning Latent Action World Models in the Wild”를 소개하며, 기존 인공지능 연구의 패러다임을 뒤흔드는 새로운 접근 방식을 제시합니다. 오랫동안 인공지능은 ‘걷기’, ‘집기’와 같이 인간이 정의한 행동 레이블(명령)을 통해 세상을 이해하고 미래를 예측하며 계획해왔습니다. 행동 레이블의 정교함이 곧 지능의 깊이로 여겨졌던 것입니다. 그러나 이 논문은 행동이 과연 인간의 언어 속에서만 존재하는 것인지, 아니면 세계의 변화가 남긴 결과론적 흔적에 불과한 것인지 근본적인 질문을 던집니다.

통제되지 않은 현실 세계에서의 학습

이 연구의 가장 큰 특징은 통제된 실험실이나 정렬된 게임 환경이 아닌, 유튜브 영상처럼 잡음이 가득하고 무작위로 찍힌 ‘현실 그대로의 비디오’를 데이터로 사용한다는 점입니다. 기존 인공지능 연구가 복잡하다는 이유로 회피했던 이 현실 세계에서, 논문은 “행동 없이도 세계는 이해될 수 있는가?”라는 질문에 정면으로 도전합니다.

‘잠재 행동(Latent Action)‘의 개념

연구진의 답은 ‘잠재 행동(latent action)‘입니다. 이는 눈에 보이지 않지만, 세계의 상태 변화를 설명하는 잠재적인 행동 공간을 의미합니다. 여기서 행동은 더 이상 “왼쪽으로 이동하라”는 식의 구체적인 명령이 아닙니다. 대신, ‘이전과 이후의 세계가 어떻게 달라졌는가’라는 단 하나의 기준으로 정의됩니다. 예를 들어, 사람이 방 안으로 들어오면 장면의 통계적 구조가 변하고, 물체가 나타나면 예측의 분포가 달라지며, 누군가 춤을 추기 시작하면 이전의 미래는 더 이상 유효하지 않게 됩니다. 이 모든 변화가 곧 ‘이름 없는 행동’이지만, 분명한 결과를 남기는 행동으로 간주됩니다.

흥미로운 점은 이 잠재 행동들이 연속적이면서도 무질서하지 않다는 것입니다. 논문은 이 잠재 행동 공간이 무한히 흩어지지 않고 일정한 제약을 가진 구조로 형성됨을 보여줍니다. 이는 행동이 단순히 임의적인 노이즈가 아니라, 세계의 물리적·통계적 법칙에 묶여 있음을 시사합니다. 전통적인 벡터 양자화 방식이 포착하지 못했던 연속성과 제약의 공존은 현실 세계 행동의 본질적인 성질에 더 가깝습니다.

신체 없는 지능의 가능성

이 논문이 특히 인상적인 또 다른 이유는, 공통된 신체(embodiment)가 전혀 없는 환경에서도 행동을 학습한다는 점입니다. 다양한 신체를 가진 존재들이 각기 다른 방식으로 움직이는 영상 속에서도 모델은 행동을 포착합니다. 다만 그 행동은 인간의 신체 기준이 아니라, 카메라와 장면을 기준으로 국소화됩니다. 이는 지능이 반드시 하나의 몸에 고정될 필요가 없으며, 행동이 신체 이전에 ‘변화의 구조’로 존재할 수 있다는 중요한 시사점을 던집니다. 이는 “신체 없는 지능은 불가능하다”는 오랜 믿음에 대한 반론을 제기하며, 최소한 계획과 예측의 차원에서는 다른 길이 존재함을 보여줍니다.

행동의 보편 인터페이스로서의 잠재 행동

연구진은 이 잠재 행동을 실제 계획 문제에 적용하여, 기존의 행동-조건화 모델과 유사한 성능으로 플래닝을 수행할 수 있음을 입증합니다. 이는 잠재 행동이 단순한 분석 도구를 넘어, 행동의 보편적인 인터페이스가 될 수 있음을 암시합니다. 로봇이든, 인간이든, 시뮬레이션이든, 행동의 표현은 달라도 세계에 남기는 변화는 같은 좌표계 위에서 다룰 수 있다는 발상입니다. 즉, 행동을 통일하는 것이 아니라, ‘변화의 언어’로 번역하는 방식인 것입니다.

기술을 넘어선 철학적 질문

이 논문은 기술적 성과를 넘어 철학적인 질문을 던집니다. 행동이란 무엇인가? 의도인가, 명령인가, 혹은 결과인가? 이 연구는 행동을 의도나 명령이 아닌 ‘결과’의 관점에서 재정의합니다. 행동은 “무엇을 하려고 했는가”가 아니라, “세계가 어떻게 달라졌는가”로 측정됩니다. 이는 인간 중심의 사고에서 벗어나, 세계 중심의 모델링으로 이동하는 중요한 신호로 해석될 수 있습니다. 인공지능이 인간을 흉내 내는 존재를 넘어, 인간과 다른 방식으로 세계를 이해하는 존재로 진화하고 있음을 보여주는 것입니다.

결론

이 논문은 화려한 데모나 자극적인 성능 수치보다는, 앞으로의 인공지능이 더 적은 설명으로 더 많은 현실을 이해해야 한다는 분명한 방향을 제시합니다. 이름 붙일 수 없는 행동, 설명되지 않은 변화, 라벨링 없는 세계 속에서도 미래를 예측하고 계획할 수 있는 가능성을 설득력 있게 보여줍니다. 어쩌면 진정한 지능이란, 우리가 정의해준 행동을 잘 수행하는 능력이 아니라, 우리가 정의하지 못한 행동 속에서도 세계의 질서를 발견하는 능력일지도 모른다는 질문을 기술의 언어로, 그러나 매우 인간적인 방식으로 던지고 있습니다.