SeedWorld: AI 월드 모델
SeedWorld는 월드 모델입니다. 장면에 대해 배운 서술을 유지하고, 무언가가 움직일 때 그 장면이 어떻게 바뀌는지 예측합니다. 한 걸음, 카메라 회전, 잡기, 브레이크입니다. 공개된 월드 모델도 이렇게 소개됩니다. Ha와 Schmidhuber의 2018년 World Models와 Dreamer에서 Genie, Cosmos, V-JEPA까지입니다. 여기서는 그 말로 SeedWorld를 씁니다. 다음 상태는 동작에 달려 있으며, 다음 프레임이 그럴듯해 보이는 것만이 아닙니다.

01 — 이 모델
SeedWorld는 다음 상태를 예측한다
월드 모델은 환경의 내부 표현을 만들고, 그 환경이 어떻게 변하는지 예측합니다. 쓸모 있는 입력은 장면에 동작이 더해진 것입니다. SeedWorld는 이런 종류의 모델입니다. 동작은 질문의 일부이고, 답은 장면의 다음 상태입니다.
언어 모델은 다음 단어를 예측합니다. 영상 생성은 프롬프트에서 그럴듯한 픽셀의 흐름을 예측합니다. 2018년 World Models 논문과 이후의 Dreamer는 이 모델을, 상상 속에서 앞으로 굴릴 수 있는 작은 시뮬레이터로 다룹니다. SeedWorld는 그 정의로 소개됩니다. 화면이 움직일 뿐인 클립 생성기가 아닙니다.
공개된 문헌은 같은 정의에 세 방향에서 다가갑니다. SeedWorld의 서술은 그 셋을 가져옵니다.
- 잠재 동역학. Ha와 Schmidhuber의 World Models, PlaNet, Dreamer는 작은 숨은 상태와 그 전이를 학습합니다. 에이전트는 모델 밖에서 행동하기 전에 그곳에서 계획할 수 있습니다. SeedWorld가 쓰는 것은 이 생각입니다. 앞으로 굴릴 수 있는 압축된 상태이며, 모든 픽셀을 상태로 보지 않습니다.
- 동작을 조건으로 하는 영상. DeepMind의 Genie 계열은 영상에서 상호작용 환경을 배워, 키나 카메라 이동이 다음 프레임을 바꿉니다. NVIDIA Cosmos는 주행, 로봇, 산업 장면을 위한 월드 파운데이션 모델로 만들어졌습니다. SeedWorld의 보이는 출력도 같은 방식으로 읽힙니다. 프레임은 동작을 따라야 합니다.
- 픽셀만이 아닌 표현. Yann LeCun의 결합 임베딩 예측 구조와 Meta의 V-JEPA는 모든 픽셀을 복원하는 대신 영상의 다음 추상 표현을 예측합니다. SeedWorld도 같은 판단을 나눕니다. 픽셀 세부 사항의 상당수는 다음에 무슨 일이 일어나는지를 결정하지 않습니다.
SeedWorld를 쓸 때 쓰는 검사
보기 좋은 영상도 동작을 무시할 수 있습니다. 질감만 맞추면 벽돌 벽과 그려 넣은 벽이 같아 보입니다. 월드 모델 논문은 더 엄격한 검사를 쓰고, SeedWorld도 그 검사로 쓰입니다. 동작이 바뀌면 미래도 그에 맞게 바뀌는가? 물체가 남아 있는지, 접촉, 중력, 방의 배치가 그 검사에 들어갑니다. 실감 나 보이는 것이 서술의 전부는 아닙니다.

02 — 무엇을 예측하는가
SeedWorld를 서술하는 네 부분
다른 월드 모델을 쓸 때 쓰는 질문입니다. SeedWorld를 쓸 때도 그 질문을 씁니다.
상태. 잠재적이거나 보이거나
어떤 월드 모델은 다음 픽셀을 예측하고, 어떤 모델은 장면을 압축해 잠재 상태를 예측합니다. Dreamer는 후자로 미래를 앞으로 굴립니다. SeedWorld는 둘 다로 쓰입니다. 이어 갈 수 있는 상태와, 사람이 볼 수 있는 프레임입니다. 예측되는 것은 상태입니다. 프레임은 그것을 보는 한 가지 방식입니다.
미래가 달려 있는 동작
Genie 계열에서 동작은 키나 카메라 자세일 수 있습니다. 주행과 로봇 논문에서 동작은 궤적이나 관절 명령일 수 있습니다. SeedWorld는 같은 의미로 동작을 입력으로 받습니다. 같은 이력에 두 동작이 있으면 두 질문이고, 예측된 미래는 갈라져야 합니다.
시점이 움직일 때의 기억
프레임은 지도를 저장하지 않습니다. 약한 영상 모델은 카메라가 돌아가면 새 방을 만들어 냅니다. 탐색형 월드 모델은 물체의 지속으로 이야기됩니다. 발자국, 열린 문, 옮긴 상자입니다. SeedWorld도 그 기억으로 쓰입니다. 카메라 뒤에 있던 것은 상태의 일부입니다.
데이터에서 배운 물리
게임 엔진은 질량, 마찰, 충돌을 규칙으로 적습니다. 학습된 월드 모델은 Cosmos식 물리 장면용 모델을 포함해, 영상과 로봇 로그, 주행 데이터에서 규칙성을 집어냅니다. SeedWorld는 그쪽에 있습니다. 규칙에 없는 장면을 다룰 수 있고, 다른 학습 모델처럼 일어나지 않은 접촉을 만들어 낼 수도 있습니다.
- 예측
- 장면의 다음 상태. 잠재 상태로 이어지고, 프레임으로 보인다
- 조건
- 현재 관측 위의 동작. 이동, 카메라 변화, 궤적, 또는 잡기
- 전개
- 예측한 상태를 다시 넣어, 미래를 한 걸음보다 길게 잇는다
- 볼 것
- 동작이 미래를 바꾸는가, 물체가 남는가, 접촉이 그럴듯한가
03 — 그 예측
SeedWorld에 요구되는 예측

표면 위의 날씨
마른 자갈 마당에서 변화는 “비가 내리기 시작한다”입니다. 영상 모델은 프레임에 빗줄을 그릴 수 있습니다. SeedWorld는 돌이 어두워지는지, 낮은 곳에 물이 고이는지, 빛이 젖은 땅에 비치기 시작하는지도 맡습니다.
물체와 원인
작업실에서 동작은 무거운 나무 상자를 작업대에서 미는 것입니다. SeedWorld는 상자의 궤적, 튀어 오름, 상자가 닿는 것을 이어 가야 합니다. 문을 다시 보면 같은 방이어야 합니다. 이것은 다른 탐색 가능한 월드 모델에도 쓰이는 물체 지속 검사입니다.
세 장면을 검사로 읽기
장소와 날씨
장면: 절벽 위 도서관. 유리문은 눈 덮인 소나무 숲으로 열린다.
SeedWorld가 맞혀야 하는 것: 밖으로 나갔다가 돌아온 뒤, 발자국과 떠난 방은 걸어온 경로와 맞다.
물체 사이의 접촉
장면: 유리 테이블, 도자기 컵, 물이 든 주전자.
SeedWorld가 맞혀야 하는 것: 밀면 테이블이 아니라 컵이 움직이고, 쏟아진 물은 면을 따른다.
거리와 차량
장면: 해 질 녘 젖은 교차로. 차 흐름과 배달 로봇.
SeedWorld가 맞혀야 하는 것: 서로 다른 두 조향이, 운전자가 다르다고 알아볼 두 미래를 만든다.
04 — 이야기되는 자리
월드 모델이 쓰이는 자리

사람이 들여다볼 수 있는 장면
- 상호작용 환경. Genie 계열 모델은 영상을, 키나 카메라 움직임에 반응하는 장소로 바꿉니다. SeedWorld의 장면은 그 말로 쓰입니다. 다음 프레임은 반응이지, 재생이 끝난 완성 클립이 아닙니다.
- 배치 안을 이동하기. 다른 월드 모델은 이미지 한 장이나 짧은 설명에서 시작해, 시점이 움직여도 배치를 안정시키려 합니다. SeedWorld는 그 배치를 상태 안에 두는 것으로 쓰입니다.
- 한 장면의 여러 주체. 둘 이상이 행동하면, 예측되는 각 미래는 다른 쪽이 일으킨 변화를 포함해야 합니다. SeedWorld의 상태는 그 의미에서 공유됩니다. 한 장면, 하나보다 많은 동작입니다.
- 만들기 전에 생각하는 샷. 영화는 이미 거친 3D로 장면을 잡습니다. 학습된 월드 모델이 그곳에서 이야기되는 것은 빛, 날씨, 카메라 이동이 다음 이어짐까지 맞을 때입니다. 그 일치는 SeedWorld 서술의 일부입니다.
기계가 앞으로 굴릴 수 있는 미래
- Dreamer와 같은 상상. Dreamer는 예측된 전개 위에서 행동을 갱신합니다. SeedWorld의 전개는 같은 종류의 것입니다. 미래는 먼저 모델 안에서 이어지고, 그 밖의 동작은 그다음입니다.
- 드문 주행 장면. 기록된 주행 데이터에는 빙판, 눈부심, 사람이 갑자기 나오는 경우가 적습니다. 월드 모델은 그런 장면을 잇는 방법으로 연구됩니다. SeedWorld의 거리 예측은 그 용도에 비추어 읽힙니다. 움직임은 동작을 따라야 합니다.
- 대안을 비교하기. 모델 예측 제어는 많은 동작 서열을 뽑아 각각을 앞으로 굴립니다. SeedWorld는 그 다음 상태를 내는 모델입니다. 이 페이지는 그 위에 만들어진 제어기를 쓰지 않습니다.
05 — 다른 시스템과 나란히
SeedWorld를 다른 종류의 시스템과 나란히
이 시스템들은 움직이는 장면을 보여줄 수 있습니다. 답하는 질문은 다릅니다. SeedWorld 열은 특정 동작 이후의 다음 상태를 예측합니다.
| 손으로 만든 시뮬레이터 | 영상 생성 | 표현 예측 | SeedWorld | |
|---|---|---|---|---|
| 무엇을 예측하나 | 적힌 물리로 얻은 다음 상태 | 그럴듯한 픽셀 순서 | 장면의 다음 임베딩 | 특정 동작 이후 장면의 다음 상태 |
| 규칙은 어디서 오나 | 방정식과 충돌 코드 | 학습 영상의 통계 | 학습된 임베딩 공간 | 학습된 규칙성. 다른 월드 모델과 같은 방식 |
| 동작이 미래를 바꾸나 | 바꾼다. 적힌 규칙을 통해 | 프롬프트를 다시 쓰고 클립을 다시 만들 때만 | 바꾼다. 표현 공간에서 | 바꾼다. 그 반응이 SeedWorld의 목적 |
| 볼 수 있는 것 | 렌더된 3D 장면 | 영상 | 보통 보이는 출력이 없다 | 프레임, 그리고 그 프레임이 나오는 상태 |
| 어떻게 이야기되나 | 게임과 로봇 샌드박스 | 완성된 샷 | 계획과 영상 이해 | 월드 모델로서. 다음 상태에 대한 상상 |
06 — 한 걸음의 예측
SeedWorld가 한 번의 예측을 만드는 방식
01
현재 관측을 읽는다
한 프레임, 짧은 영상, 깊이 지도, 또는 이미 가지고 있는 잠재 상태. SeedWorld는 이것을 지금으로 봅니다.
02
동작을 조건으로 받는다
동작은 입력입니다. Genie, 주행 월드 모델, 동작 조건 V-JEPA도 같습니다. 같은 관측에 두 동작이 있으면 두 질문입니다.
03
다음 상태를 예측한다
SeedWorld는 다음 상태를 예측하고, 그 예측을 다시 넣을 수 있습니다. 길게 이어질수록 기억과 배운 물리가 버티는지가 드러납니다.
07 — 질문
SeedWorld에 대한 질문
SeedWorld는 어떤 종류의 모델인가요?
SeedWorld는 월드 모델입니다. 동작 이후 장면이 어떻게 바뀌는지 예측합니다. Dreamer, Genie, 그 밖의 동작 조건 모델이 쓰는 정의입니다. 다음 상태는 방금 한 일에 조건 지어집니다.
SeedWorld는 영상 생성인가요?
아닙니다. 영상 생성은 그럴듯한 클립을 뽑습니다. SeedWorld는 미래가 동작을 따르는가로 쓰입니다. 동작 입력 없이 사실적으로 보이기만 하는 클립은 영상입니다. SeedWorld의 예측에는 동작이 들어 있습니다.
SeedWorld는 게임 엔진과 어떻게 다른가요?
게임 엔진은 누군가 적은 규칙으로 장면을 진행합니다. 충돌, 중력, 재질입니다. SeedWorld는 다른 학습된 월드 모델처럼 그 경향을 데이터에서 집어냅니다. 엔진은 가진 규칙 안에서는 정확합니다. 학습된 모델은 아무도 대본을 쓰지 않은 장면을 다룰 수 있고, 틀릴 수도 있습니다.
왜 V-JEPA와 잠재 상태를 말하나요?
V-JEPA는 픽셀 세부 사항의 상당수가 결정을 바꾸지 않기 때문에, 모든 픽셀이 아니라 다음 순간의 표현을 예측합니다. SeedWorld가 잠재 상태와 함께 쓰이는 이유도 같습니다. 프레임은 그 상태를 보는 방식이지, 상태를 대신하지 않습니다.
SeedWorld에서 전개란 무엇인가요?
SeedWorld는 한 걸음을 예측하고, 그 예측을 새로운 현재로 삼아 다시 예측합니다. Dreamer와 모델 예측 제어는 이런 상상된 미래를 써서 서로 다른 동작을 비교합니다. 전개는 모델의 일부이며, 별도의 제품 단계가 아닙니다.
SeedWorld는 왜 방을 잊나요?
프레임은 카메라가 지금 보는 것만 보여 줍니다. 물체와 배치에 대한 기억이 없으면 다음 프레임은 새 배경을 만들 수 있습니다. 긴 시간의 일관성은 월드 모델 일반의 열린 문제이고, SeedWorld에 적용되는 검사 가운데 하나입니다.
SeedWorld가 아닌 것은 무엇인가요?
SeedWorld는 손으로 적은 물리 엔진이 아니고, 프롬프트로 영상을 만드는 모델도 아닙니다. 여기서 조작하거나, 구독하거나, 다른 시스템에 연결하는 것으로도 쓰지 않습니다. 이 페이지가 말하는 것은 그것이 어떤 종류의 모델인지뿐이며, 다른 월드 모델에 이미 쓰이는 말을 사용합니다.
SeedWorld는 다음 상태의 모델이다
SeedWorld는 장면과 동작을 받아 장면이 무엇이 되는지를 예측합니다. 영상 생성, 게임 엔진, 표현 모델은 각각 가까운 질문 하나에 답합니다. SeedWorld를 다른 월드 모델과 함께 두는 질문은 동작입니다. 미래는 그것에 조건 지어집니다.