SeedWorld: ИИ-модель мира
SeedWorld — это модель мира. Она хранит выученное описание сцены и предсказывает, как сцена изменится, когда что-то действует: шаг, поворот камеры, захват, тормоз. Публичные модели мира представляют так же: от World Models Ха и Шмидхубера 2018 года и Dreamer до Genie, Cosmos и V-JEPA. Здесь SeedWorld описана на этом языке. Следующее состояние зависит от действия, а не только от того, что следующий кадр выглядит правдоподобно.

01 — Модель
SeedWorld предсказывает следующее состояние
Модель мира строит внутреннее представление среды и по нему предсказывает, как эта среда меняется. Полезный вход — сцена вместе с действием. SeedWorld — модель такого рода: действие входит в вопрос, а ответ — следующее состояние сцены.
Языковые модели предсказывают следующее слово. Генераторы видео по запросу предсказывают правдоподобную последовательность пикселей. Статья World Models 2018 года и поздний Dreamer рассматривают такую модель как компактный симулятор, который можно прокручивать в воображении. SeedWorld представляется по этому определению. Это не генератор роликов, которому случается показать движение.
Открытая литература подходит к тому же определению с трёх сторон. Описание SeedWorld берёт все три:
- Латентная динамика. World Models Ха и Шмидхубера, PlaNet и Dreamer учат небольшое скрытое состояние и переход в нём. Агент может планировать там, прежде чем действовать вне модели. SeedWorld использует эту идею компактного состояния, которое можно прокрутить вперёд, а не считает состоянием каждый пиксель.
- Видео, обусловленное действием. Серия Genie от DeepMind учит интерактивные среды по видео, так что клавиша или движение камеры меняет следующие кадры. NVIDIA Cosmos собран как базовые модели мира для физических сцен: вождение, роботы и промышленность. Видимый выход SeedWorld читается так же: кадры должны следовать действию.
- Представление, а не только пиксели. Архитектура совместных предсказательных вложений Яна Лекуна и V-JEPA от Meta предсказывают следующее абстрактное представление видео, а не восстанавливают каждый пиксель. SeedWorld разделяет это суждение: большая часть пиксельных деталей не решает, что произойдёт дальше.
Проверка, по которой пишут SeedWorld
Убедительное видео всё равно может проигнорировать действие. Кирпичная стена и нарисованная стена выглядят одинаково, если модель только подгоняет текстуры. Работы о моделях мира используют более строгую проверку, и это проверка SeedWorld: если действие изменилось, будущее меняется соответствующим образом? Постоянство объектов, контакт, гравитация и планировка комнаты входят в неё. Выглядеть реалистично — не всё описание.

02 — Что она предсказывает
Четыре части описания SeedWorld
Этими вопросами описывают другие модели мира. Ими же описывают SeedWorld.
Состояние, скрытое или видимое
Одни модели мира предсказывают следующие пиксели. Другие сжимают сцену и предсказывают латентное состояние — так Dreamer прокручивает будущее. SeedWorld описывается как и то и другое: состояние, которое можно продолжить, и кадры, которые может смотреть человек. Предсказывается состояние. Кадр — один способ его увидеть.
Действие, от которого зависит будущее
В моделях в духе Genie действие может быть клавишей или позой камеры. В работах о вождении и робототехнике — траекторией или командой суставу. SeedWorld принимает действие как вход в том же смысле. Одна история с двумя разными действиями — два вопроса, и предсказанные будущие должны разойтись.
Память, когда взгляд сдвигается
Кадр не хранит карту. Более слабые видеомодели выдумывают новую комнату, когда камера отворачивается. Исследовательские модели мира обсуждают через постоянство объектов: следы, открытая дверь, сдвинутый ящик. SeedWorld описывается с этой памятью. То, что было за камерой, входит в состояние.
Физика, выученная из данных
Игровой движок записывает массу, трение и столкновения правилами. Выученные модели мира, в том числе обученные для физических сцен в духе Cosmos, берут эти закономерности из видео, журналов робота или данных вождения. SeedWorld на этой стороне. Она может покрывать сцены, которых никто не записал, и, как другие выученные модели, выдумать контакт, которого не было.
- Предсказание
- Следующее состояние сцены: продолжается как латентное состояние и показывается кадрами
- Условие
- Действие поверх текущего наблюдения: движение, смена камеры, траектория или захват
- Прогон
- Предсказанное состояние подаётся обратно, чтобы будущее продолжалось дольше одного шага
- Что проверяется
- Меняет ли действие будущее, остаются ли объекты и правдоподобен ли контакт
03 — Эти предсказания
Предсказания, которых ждут от SeedWorld

Погода на поверхности
От сухого мощёного двора изменение — «начинается дождь». Видеомодель может нарисовать полосы поверх кадра. SeedWorld также отвечает за то, темнеют ли камни, собирается ли вода в низинах и начинает ли свет отражаться на мокрой земле.
Предмет и причина
В мастерской действие — столкнуть тяжёлый ящик с верстака. SeedWorld должна продолжить путь ящика, отскок и то, во что ящик ударился. Взгляд назад на дверь должен показать ту же комнату. Это проверка постоянства объектов, которую применяют и к другим обозримым моделям мира.
Три сцены, прочитанные как проверки
Место и его погода
Сцена: Библиотека на утёсе, стеклянные двери открываются в заснеженный сосновый лес.
Что SeedWorld должна угадать: После выхода и поворота следы и покинутая комната по-прежнему согласуются с пройденным путём.
Контакт предметов
Сцена: Стеклянный стол, керамическая чашка и кувшин с водой.
Что SeedWorld должна угадать: Толчок двигает чашку, а не стол, и пролитое идёт по поверхности.
Улица и машина
Сцена: Мокрый городской перекрёсток в сумерках, поток машин и робот-курьер.
Что SeedWorld должна угадать: Два разных действия рулём дают два будущих, которые водитель отличит друг от друга.
04 — Контекст
Контексты, в которых пишут модели мира

Сцены, которые человек может осмотреть
- Интерактивные среды. Модели в духе Genie превращают видео в место, которое отвечает на клавиши или движение камеры. Сцены SeedWorld описываются в этом регистре: следующие кадры — ответ, а не готовый ролик, который проигрывают.
- Движение по планировке. Другая линия моделей мира начинается с одного изображения или короткого описания и пытается держать планировку устойчивой, пока движется точка обзора. SeedWorld описывается как модель, которая держит эту планировку в своём состоянии.
- Несколько агентов в одной сцене. Если действует больше одного агента, каждое предсказанное будущее должно включать изменения, которые вызывают остальные. Состояние SeedWorld в этом смысле общее: одна сцена, больше одного действия.
- Кадр, который рассматривают до постройки. Кино уже расставляет сцены в грубом 3D. Выученную модель мира обсуждают там, когда свет, погода и движения камеры держатся от одного продолжения к следующему. Эта согласованность входит в описание SeedWorld.
Будущие, которые машина может прокрутить вперёд
- Воображение, как у Dreamer. Dreamer обновляет поведение на предсказанных прогонах. Прогон SeedWorld — тот же объект: будущее, которое продолжается внутри модели, прежде чем речь заходит о действии снаружи.
- Редкие дорожные сцены. Записанные данные вождения плохо представляют лёд, слепящий свет и человека, который внезапно выходит. Модели мира изучают как способ продолжить такие сцены. Уличные предсказания SeedWorld читают по этому употреблению: движение должно следовать действию.
- Сравнение вариантов. Модельно-предиктивное управление выбирает много последовательностей действий и прокручивает каждую вперёд. SeedWorld — модель, которая давала бы эти следующие состояния. Страница не описывает контроллер, построенный поверх неё.
05 — Рядом с другими системами
SeedWorld рядом с другими видами систем
Эти системы могут показать движущуюся сцену. Они отвечают на разные вопросы. Столбец SeedWorld предсказывает следующее состояние после конкретного действия.
| Симулятор, написанный вручную | Генератор видео | Предсказатель представлений | SeedWorld | |
|---|---|---|---|---|
| Что предсказывает | Следующее состояние из записанной физики | Правдоподобную последовательность пикселей | Следующее вложение сцены | Следующее состояние сцены после конкретного действия |
| Откуда правила | Уравнения и код столкновений | Статистика обучающего видео | Выученное пространство вложений | Выученные закономерности, как у других моделей мира |
| Меняет ли действие будущее? | Да, через записанные правила | Только если переписать запрос и заново сгенерировать ролик | Да, в пространстве представлений | Да. Этот отклик — то, для чего нужна SeedWorld |
| Что можно увидеть | Отрендеренную 3D-сцену | Видео | Обычно ничего зримого | Кадры и состояние, из которого они берутся |
| Как об этом говорят | Игры и робототехнические песочницы | Готовый кадр | Планирование и понимание видео | Как о модели мира: воображение следующего состояния |
06 — Один шаг
Как SeedWorld строит одно предсказание
01
Прочитать текущее наблюдение
Кадр, короткое видео, карта глубины или уже несомое латентное состояние. SeedWorld считает это настоящим.
02
Взять действие как условие
Действие — это вход, как у Genie, у моделей мира для вождения и у V-JEPA с условием на действие. Два действия из одного наблюдения — два вопроса.
03
Предсказать следующее состояние
SeedWorld предсказывает следующее состояние и может подать это предсказание обратно. На длинном продолжении видно, держатся ли память и выученная физика.
07 — Вопросы
Вопросы о SeedWorld
Какая это модель?
SeedWorld — модель мира. Она предсказывает, как сцена изменится после действия. Это определение, которое используют для Dreamer, Genie и других моделей с условием на действие: следующее состояние зависит от того, что только что было сделано.
SeedWorld — это генератор видео?
Нет. Генератор видео выбирает ролик, который выглядит правдоподобно. SeedWorld описывают по тому, следует ли будущее действию. Реалистичный ролик без действия на входе — это видео. Предсказание SeedWorld включает действие.
Чем SeedWorld отличается от игрового движка?
Игровой движок двигает сцену записанными правилами: столкновения, гравитация, материалы. SeedWorld, как другие выученные модели мира, берёт эти склонности из данных. Движки точны внутри своих правил. Выученная модель может покрывать сцены, которые никто не расписал, и может ошибаться.
Зачем упоминать V-JEPA и латентные состояния?
V-JEPA предсказывает представление следующего момента, а не каждый пиксель, потому что большая часть пиксельных деталей не меняет решение. SeedWorld описывается с латентным состоянием по той же причине. Кадры — вид этого состояния, а не его замена.
Что такое прогон для SeedWorld?
SeedWorld предсказывает шаг, считает это предсказание новым настоящим и предсказывает снова. Dreamer и модельно-предиктивное управление используют воображаемые будущие такого рода, чтобы сравнивать действия. Прогон — часть модели, а не отдельный продуктовый шаг.
Почему SeedWorld может забыть комнату?
Кадр показывает только то, что камера видит сейчас. Без памяти об объектах и планировке следующий кадр свободен выдумать новый фон. Согласованность на длинном горизонте — открытая задача моделей мира вообще и одна из проверок, которые применяют к SeedWorld.
Чем SeedWorld не является?
SeedWorld — не физический движок, написанный вручную, и не модель «запрос в видео». Здесь её также не описывают как то, чем можно управлять, на что можно подписаться или что можно подключить к другой системе. Страница говорит только, какая это модель, словами, которые уже используют для других моделей мира.
SeedWorld — модель следующего состояния
SeedWorld берёт сцену и действие и предсказывает, чем сцена становится. Генераторы видео, игровые движки и модели представлений отвечают каждый на соседний вопрос. Вопрос, который ставит SeedWorld рядом с другими моделями мира, — это действие: будущее обусловлено им.