AI가 물리 세계를 상상하기 시작했다: 월드 모델 완벽 가이드

월드 모델(World Model)은 2026년 AI 업계에서 가장 뜨거운 단어 중 하나입니다. 왜 그런지는 간단한 질문 하나로 드러납니다. 챗GPT에게 “컵을 테이블 끝으로 밀면 어떻게 되나요?”라고 물으면 “떨어져서 깨질 수 있습니다”라고 답하지만, 정작 이 AI는 컵이 떨어지는 장면을 한 번도 ‘본’ 적이 없습니다. 텍스트에서 그런 문장을 수없이 읽었을 뿐입니다.

이 글에서는 월드 모델이 무엇인지, 대형 언어 모델(LLM)과 어떻게 다른지, ‘말로 아는 것’과 ‘실제로 겪어 아는 것’ 사이의 간극을 어떻게 메우는지를 개념부터 정리합니다. 구글 딥마인드의 Genie 3, 페이페이 리의 Marble 같은 2026년 대표 모델과 로봇·자율주행·게임 속 활용까지 한 편에 담았습니다. ‘AI의 다음 격전지’로 불리는 이유를 끝까지 따라오면 이해할 수 있습니다.

월드 모델이란 무엇인가 — LLM과 무엇이 다른가

월드 모델은 세계가 어떻게 작동하는지에 대한 내부 표현을 갖춘 AI입니다. 중력, 관성, 충돌, 물체의 지속성 같은 물리적 원리를 스스로 시뮬레이션합니다. 대형 언어 모델(LLM, 방대한 텍스트로 다음 단어를 예측하도록 학습한 AI)이 언어의 통계 구조를 배운다면, 월드 모델은 공간과 시간의 통계 구조를 배웁니다.

결정적 차이는 ‘무엇을 예측하는가’입니다. LLM이 문장에서 다음에 올 단어를 맞힌다면, 월드 모델은 장면에서 다음에 벌어질 상태를 맞힙니다. 그래서 학습 데이터도 텍스트가 아니라 비디오, 이미지, 센서 입력, 물리 시뮬레이션이 됩니다. 예를 들어 공이 책상 뒤로 굴러가 시야에서 사라져도 ‘공은 그대로 존재한다’는 물체 지속성(object permanence)을, 월드 모델은 영상 속 무수한 사례에서 스스로 익힙니다.

한마디로 월드 모델은 AI에게 ‘읽은 지식’이 아니라 ‘겪은 감각’을 주려는 시도입니다. 이 차이는 로봇과 자율주행처럼 실제 물리 공간에서 움직여야 하는 AI에게 결정적입니다.

인간은 눈앞의 장면만 보고도 ‘저 컵을 건드리면 넘어지겠다’를 직관적으로 압니다. 세계가 어떻게 반응할지에 대한 모형이 머릿속에 이미 있기 때문입니다. 월드 모델은 이 ‘머릿속 모형’을 기계에 이식하려는 연구 방향입니다.

어떻게 작동하나 — 잠재 공간에서 ‘다음 상태’를 굴린다

사실 ‘세계의 모형을 머릿속에 둔다’는 발상은 오래됐습니다. 스코틀랜드 심리학자 케네스 크레이크는 1943년 저서 ‘설명의 본질’에서 인간이 현실의 축소 모형을 마음속에 돌려본다는 정신 모형(mental model) 개념을 제시했습니다. 1990년대 초 강화학습 연구자 리처드 서턴은 Dyna 구조로 이 아이디어를 알고리즘에 옮겨, 에이전트가 학습한 세계 모형 안에서 행동을 미리 계획하게 했습니다. 지금의 열풍은 수십 년 묵은 개념이 연산 능력과 데이터를 만나 뒤늦게 꽃핀 결과입니다.

현대적 토대를 놓은 것은 2018년 데이비드 하와 위르겐 슈미트후버의 논문 ‘World Models’입니다. 이들은 인코더(VAE, 이미지를 압축된 숫자 벡터로 바꾸는 신경망)로 장면을 압축하고, 순환 신경망(RNN)으로 시간에 따른 변화를 학습한 뒤, 작은 컨트롤러가 이 압축된 ‘꿈’ 속에서 행동을 연습하게 했습니다. 실제 환경이 아니라 모델이 상상한 내부 세계에서 학습한다는 발상이 핵심이었습니다.

오늘날의 모델은 이 아이디어를 훨씬 크게 키웠습니다. 구글 딥마인드의 Genie 3는 화면을 한 프레임씩 만들어내는 자기회귀(auto-regressive, 직전까지의 결과를 입력으로 다음 결과를 생성하는 방식) 방법으로 작동하며, 사용자의 행동 이력을 초당 여러 번 다시 계산해 반영합니다. 텍스트 프롬프트만으로 720p 해상도의 환경을 초당 24프레임으로 생성하고, 사용자가 만든 변화를 몇 분간 유지합니다. 여기에 날씨를 바꾸거나 새 물체를 등장시키는 ‘프롬프트 가능한 세계 이벤트’까지 텍스트로 지시할 수 있습니다.

이 ‘기억’이 핵심입니다. 방금 지나온 골목을 뒤돌아봤을 때 그 골목이 그대로 남아 있어야, 비로소 AI가 공간을 이해한다고 말할 수 있기 때문입니다.

두 갈래 접근: 생성형(픽셀) vs 잠재예측형(JEPA)

월드 모델을 만드는 방법은 크게 두 갈래로 나뉩니다. 첫째는 생성형 접근으로, 다음에 보일 화면의 픽셀을 직접 그려냅니다. Genie 3, Marble, 런웨이의 모델이 여기에 속합니다.

둘째는 잠재예측형 접근입니다. 화면을 일일이 그리는 대신, 세계의 상태를 요약한 추상적 표현 공간에서 다음 상태만 예측합니다. 메타의 V-JEPA 2와 여기에 쓰인 JEPA(공동임베딩 예측 아키텍처, 원본 픽셀 대신 압축된 표현끼리 예측하도록 학습하는 구조)가 대표적입니다. 두 방식은 계산 비용과 정밀도, 그리고 ‘무엇을 이해로 볼 것인가’라는 철학에서 갈립니다.

얀 르쿤은 픽셀 하나하나를 완벽히 재현하려는 노력이 낭비라고 봅니다. 나뭇잎이 정확히 어떻게 흔들릴지 예측하기보다, 바람이 불면 잎이 흔들린다는 ‘개념’을 예측하는 편이 인간의 사고에 가깝다는 것입니다. 그는 이 방향이 오늘날의 LLM보다 인간 수준 지능에 더 적합하다고 주장합니다.

2026년 주요 월드 모델 총정리

2026년 현재 이 분야는 빅테크와 스타트업이 뒤엉킨 격전지입니다. 접근 방식과 용도가 저마다 다른 대표 모델을 한자리에 놓으면 지형이 보입니다.

같은 월드 모델이라도 성격은 갈립니다. Genie 3가 실시간으로 탐험하는 시뮬레이션이라면, Marble은 3D 세계를 제작해 편집·다운로드하는 도구에 가깝습니다. Marble은 무료 4개부터 월 20~95달러 요금제로 제공되며, 페이페이 리와 저스틴 존슨 등이 세운 월드랩스가 만들었습니다. 만든 세계는 Vision Pro와 Quest 3에서 바로 걸어 다닐 수 있습니다.

이 흐름을 MIT 테크놀로지 리뷰는 2026년 10대 혁신 기술 중 하나로 꼽았습니다. 개별 데모의 화제성을 넘어, 산업 전체가 ‘언어 다음’을 준비하고 있다는 신호입니다.

어디에 쓰이나 — 로봇·자율주행·게임·과학

월드 모델의 가장 큰 쓸모는 ‘물리 AI(Physical AI, 현실 세계에서 움직이는 로봇·차량 등을 제어하는 AI)’의 훈련장입니다. 로봇과 자율주행차는 현실에서 수백만 번 실패하며 배울 수 없지만, 월드 모델이 만든 시뮬레이션 안에서는 안전하게, 사실상 무한히 연습할 수 있습니다. 위험한 상황도 부서질 걱정 없이 반복 재현할 수 있다는 점이 특히 큽니다. 엔비디아가 Cosmos를 로봇·자율주행용으로 내놓은 이유가 여기에 있습니다.

게임과 VR 콘텐츠 제작도 빠르게 바뀌고 있습니다. Marble로 만든 3D 세계를 Vision Pro나 Quest 3에서 바로 걸어 다닐 수 있고, Genie 3는 텍스트 한 줄로 탐험 가능한 환경을 즉석에서 만들어냅니다. 수작업으로 몇 주씩 걸리던 3D 환경 제작이 문장 몇 개로 압축되는 셈입니다.

신약 개발이나 신소재 탐색처럼 물리 법칙을 시뮬레이션해야 하는 과학 연구도 응용 후보로 꼽힙니다. 실제 실험 대신 모형 안에서 수많은 조건을 빠르게 돌려볼 수 있기 때문입니다.

AI 에이전트에게도 이 기술은 중요한 무대입니다. 여러 단계를 계획하고 행동하는 에이전트는 ‘이 행동을 하면 세계가 어떻게 바뀔지’를 미리 그려볼 수 있어야 하기 때문입니다. 챗봇과 에이전트, LLM의 차이가 궁금하다면 AI 에이전트 vs 챗봇 vs LLM 차이 글이 도움이 됩니다.

한계와 전망 — 왜 ‘AI의 다음 격전지’인가

장밋빛 전망만 있는 것은 아닙니다. Genie 3는 아직 몇 분 단위의 상호작용만 지원하며, 몇 시간에 걸친 긴 일관성을 유지하는 것은 여전히 숙제입니다. 프레임을 실시간으로 생성하는 데 드는 연산 비용도 막대합니다.

그럼에도 자본과 인재가 빠르게 몰리고 있습니다. 얀 르쿤은 메타를 떠나 월드 모델에 집중하는 AMI(Advanced Machine Intelligence) 랩스를 세웠습니다. 런웨이는 53억 달러 밸류에이션에 3억 1,500만 달러 규모의 시리즈 E를 유치했습니다. 스타트업부터 빅테크까지 ‘언어 다음’의 주도권을 놓고 경쟁하는 구도입니다.

많은 연구자가 이 기술을 AGI(범용 인공지능)로 가는 핵심 디딤돌로 봅니다. 딥마인드조차 Genie 3를 그 방향의 진전으로 소개했습니다. 앞으로 주목할 지표는 두 가지입니다 — 상호작용 지속 시간이 ‘몇 분’을 넘어 ‘몇 시간’으로 늘어나는지, 그리고 Marble 같은 상용 도구가 실제 로봇·게임 파이프라인에 채택되는지입니다.

자주 묻는 질문 (FAQ)

Q1. 월드 모델과 LLM(대형 언어 모델)의 차이는 무엇인가요?

LLM은 방대한 텍스트에서 ‘다음에 올 단어’의 통계적 구조를 학습해 언어를 생성합니다. 월드 모델은 비디오·이미지·센서 데이터에서 세계의 ‘다음 상태’를 학습해 공간·시간·물리·인과를 내부에 시뮬레이션합니다. 즉 LLM이 ‘말한다면’ 월드 모델은 세계가 ‘어떻게 변할지 이해한다’고 볼 수 있습니다.

Q2. 월드 모델은 이미지 생성 AI(확산 모델)와 같은 건가요?

겹치지만 목표가 다릅니다. 확산 모델은 한 장의 이미지나 영상을 그럴듯하게 ‘생성’하는 데 초점을 둡니다. 월드 모델은 사용자의 행동에 반응하며 물리적으로 일관된 ‘다음 상태’를 예측·유지하는 것이 핵심입니다. Genie 3나 Marble처럼 내부적으로 생성 기법을 쓰더라도, 상호작용과 공간 일관성이 있다는 점이 다릅니다.

Q3. Genie 3와 Marble은 무엇이 다른가요?

Genie 3(구글 딥마인드)는 텍스트로 만든 환경을 실시간(720p·24fps)으로 탐험하는 상호작용형 모델입니다. Marble(월드랩스)은 텍스트·사진·영상으로 편집·다운로드 가능한 3D 세계를 제작하는 데 초점을 둡니다. 하나는 실시간 시뮬레이션, 다른 하나는 콘텐츠 제작 도구에 가깝습니다.

Q4. 월드 모델은 지금 실제로 쓸 수 있나요?

일부는 가능합니다. Marble은 2025년 11월 상용 출시돼 무료 4개부터 월 20~95달러 요금제로 3D 세계를 만들 수 있고, Vision Pro·Quest 3에서 볼 수 있습니다. 반면 Genie 3는 아직 제한적 연구 프리뷰이며 몇 분 단위 상호작용만 지원합니다. 즉 콘텐츠 제작용 도구는 이미 쓸 수 있지만, 실시간 범용 시뮬레이터는 아직 초기 단계입니다.

Q5. 공간지능(spatial intelligence)이란 무엇인가요?

페이페이 리가 제시한 개념으로, AI가 언어를 넘어 3차원 공간을 이해·추론·상호작용하는 능력을 뜻합니다. 월드 모델은 이 공간지능을 구현하기 위한 핵심 기술입니다. 언어 모델이 텍스트의 통계적 구조를 배운다면, 월드 모델은 공간과 시간의 통계적 구조를 배우는 셈입니다.

Q6. 월드 모델이 AGI(범용 인공지능)로 가는 길인가요?

많은 연구자가 그렇게 봅니다. 얀 르쿤은 월드 모델이 오늘날의 LLM보다 인간 수준 지능에 더 적합하다고 주장하며, 딥마인드도 Genie 3를 AGI를 향한 디딤돌로 소개했습니다. 다만 지속 시간과 연산 비용 같은 한계가 남아 있어, 지금은 방향이 유망하다는 정도로 이해하는 편이 안전합니다.

참고 자료

• Built In (2026) — 월드 모델의 정의: LLM은 다음 단어, 월드 모델은 공간·시간 속 다음 상태를 예측하며 비디오·센서·물리 시뮬레이션으로 학습
• Google DeepMind (2025-08-05) — Genie 3: 720p·24fps 실시간 상호작용, 자기회귀 프레임 생성, 약 1분 공간 기억
• TechCrunch (2025-08-05) — Genie 3의 프롬프트 가능한 세계 이벤트, SIMA 체화형 에이전트 훈련, 연구 프리뷰
• TechCrunch (2025-11-12) — 월드랩스 Marble 상용 출시: 무료 4개·월 20~95달러 요금제, Vision Pro·Quest 3 지원, 창업자 페이페이 리
• Built In — 엔비디아 Cosmos(2025-01): 물리 AI용 월드 파운데이션 모델 모음
• Built In — 메타 V-JEPA 2와 JEPA: 원본 픽셀이 아닌 잠재 표현 공간에서 다음 상태 예측
• Built In — 얀 르쿤 AMI 랩스 설립, “월드 모델이 오늘날의 LLM보다 인간 수준 지능에 더 적합”
• Built In — 런웨이 첫 월드 모델(2025-12), 53억 달러 밸류에이션에 3억 1,500만 달러 시리즈 E
• Ha & Schmidhuber, “World Models” (2018) — 정신 모형(케네스 크레이크 1943)·Dyna(리처드 서턴) 계보 위에서 VAE 인코더+RNN+컨트롤러로 잠재 ‘꿈’ 속 에이전트 훈련
• MIT Technology Review (2026-04-21) — 월드 모델을 2026년 10대 혁신 기술로 선정

jugger

Jugger | JuggerInsight 운영자 · 백엔드 엔지니어

2021년 6월부터 솔루션 서비스 소프트웨어 도메인에서 백엔드 엔지니어로 재직 중입니다. 시스템 설계·API 구현·운영 환경의 실무 시각을 AI·IT·클라우드 인프라 관련 글에 그대로 반영합니다.

블록체인·매크로 경제 분야는 직접적 직업 경험은 없으나, SEC 공시·백서·기관 리포트·정부 통계 등 1차 자료 인용을 기반으로 분석합니다. 추정과 사실을 본문에서 명확히 구분하고, 검증되지 않은 정보는 게재하지 않는 것을 원칙으로 합니다. 모든 글의 1차 출처 링크는 본문 하단 References에 전수 공개합니다.

콘텐츠 초안 단계에서 AI 모델을 보조 도구로 활용하나, 모든 글은 운영자가 검토·수정·검증한 뒤 발행합니다. 오류 발견 시 본문에 정정 표시를 남깁니다.

문의: jjunggulee@gmail.com