Welcome to ImgToVid AI

or
🎁Get 5 free credits after sign in

SeedWorld: ИИ-модель мира

SeedWorld — это модель мира. Она хранит выученное описание сцены и предсказывает, как сцена изменится, когда что-то действует: шаг, поворот камеры, захват, тормоз. Публичные модели мира представляют так же: от World Models Ха и Шмидхубера 2018 года и Dreamer до Genie, Cosmos и V-JEPA. Здесь SeedWorld описана на этом языке. Следующее состояние зависит от действия, а не только от того, что следующий кадр выглядит правдоподобно.

SeedWorld как модель мира: рисунок становится прибрежным городом
Рисунок становится местом. SeedWorld занимается тем, чтобы это место оставалось согласованным, когда меняются точка обзора и объекты.

01 — Модель

SeedWorld предсказывает следующее состояние

Модель мира строит внутреннее представление среды и по нему предсказывает, как эта среда меняется. Полезный вход — сцена вместе с действием. SeedWorld — модель такого рода: действие входит в вопрос, а ответ — следующее состояние сцены.

Языковые модели предсказывают следующее слово. Генераторы видео по запросу предсказывают правдоподобную последовательность пикселей. Статья World Models 2018 года и поздний Dreamer рассматривают такую модель как компактный симулятор, который можно прокручивать в воображении. SeedWorld представляется по этому определению. Это не генератор роликов, которому случается показать движение.

Открытая литература подходит к тому же определению с трёх сторон. Описание SeedWorld берёт все три:

  • Латентная динамика. World Models Ха и Шмидхубера, PlaNet и Dreamer учат небольшое скрытое состояние и переход в нём. Агент может планировать там, прежде чем действовать вне модели. SeedWorld использует эту идею компактного состояния, которое можно прокрутить вперёд, а не считает состоянием каждый пиксель.
  • Видео, обусловленное действием. Серия Genie от DeepMind учит интерактивные среды по видео, так что клавиша или движение камеры меняет следующие кадры. NVIDIA Cosmos собран как базовые модели мира для физических сцен: вождение, роботы и промышленность. Видимый выход SeedWorld читается так же: кадры должны следовать действию.
  • Представление, а не только пиксели. Архитектура совместных предсказательных вложений Яна Лекуна и V-JEPA от Meta предсказывают следующее абстрактное представление видео, а не восстанавливают каждый пиксель. SeedWorld разделяет это суждение: большая часть пиксельных деталей не решает, что произойдёт дальше.

Проверка, по которой пишут SeedWorld

Убедительное видео всё равно может проигнорировать действие. Кирпичная стена и нарисованная стена выглядят одинаково, если модель только подгоняет текстуры. Работы о моделях мира используют более строгую проверку, и это проверка SeedWorld: если действие изменилось, будущее меняется соответствующим образом? Постоянство объектов, контакт, гравитация и планировка комнаты входят в неё. Выглядеть реалистично — не всё описание.

Физическое предсказание SeedWorld: стеклянный шар, вода и глубина
Физическое предсказание SeedWorld — про массу, контакт и свет, а не только про красивый следующий кадр.

02 — Что она предсказывает

Четыре части описания SeedWorld

Этими вопросами описывают другие модели мира. Ими же описывают SeedWorld.

Состояние, скрытое или видимое

Одни модели мира предсказывают следующие пиксели. Другие сжимают сцену и предсказывают латентное состояние — так Dreamer прокручивает будущее. SeedWorld описывается как и то и другое: состояние, которое можно продолжить, и кадры, которые может смотреть человек. Предсказывается состояние. Кадр — один способ его увидеть.

Действие, от которого зависит будущее

В моделях в духе Genie действие может быть клавишей или позой камеры. В работах о вождении и робототехнике — траекторией или командой суставу. SeedWorld принимает действие как вход в том же смысле. Одна история с двумя разными действиями — два вопроса, и предсказанные будущие должны разойтись.

Память, когда взгляд сдвигается

Кадр не хранит карту. Более слабые видеомодели выдумывают новую комнату, когда камера отворачивается. Исследовательские модели мира обсуждают через постоянство объектов: следы, открытая дверь, сдвинутый ящик. SeedWorld описывается с этой памятью. То, что было за камерой, входит в состояние.

Физика, выученная из данных

Игровой движок записывает массу, трение и столкновения правилами. Выученные модели мира, в том числе обученные для физических сцен в духе Cosmos, берут эти закономерности из видео, журналов робота или данных вождения. SeedWorld на этой стороне. Она может покрывать сцены, которых никто не записал, и, как другие выученные модели, выдумать контакт, которого не было.

Предсказание
Следующее состояние сцены: продолжается как латентное состояние и показывается кадрами
Условие
Действие поверх текущего наблюдения: движение, смена камеры, траектория или захват
Прогон
Предсказанное состояние подаётся обратно, чтобы будущее продолжалось дольше одного шага
Что проверяется
Меняет ли действие будущее, остаются ли объекты и правдоподобен ли контакт

03 — Эти предсказания

Предсказания, которых ждут от SeedWorld

Пространственная память SeedWorld: снежная тропа и стекло после смены взгляда
Обернуться — одна из проверок. SeedWorld должна ещё знать, что было за камерой.

Погода на поверхности

От сухого мощёного двора изменение — «начинается дождь». Видеомодель может нарисовать полосы поверх кадра. SeedWorld также отвечает за то, темнеют ли камни, собирается ли вода в низинах и начинает ли свет отражаться на мокрой земле.

Предмет и причина

В мастерской действие — столкнуть тяжёлый ящик с верстака. SeedWorld должна продолжить путь ящика, отскок и то, во что ящик ударился. Взгляд назад на дверь должен показать ту же комнату. Это проверка постоянства объектов, которую применяют и к другим обозримым моделям мира.

Три сцены, прочитанные как проверки

Место и его погода

Сцена: Библиотека на утёсе, стеклянные двери открываются в заснеженный сосновый лес.

Что SeedWorld должна угадать: После выхода и поворота следы и покинутая комната по-прежнему согласуются с пройденным путём.

Контакт предметов

Сцена: Стеклянный стол, керамическая чашка и кувшин с водой.

Что SeedWorld должна угадать: Толчок двигает чашку, а не стол, и пролитое идёт по поверхности.

Улица и машина

Сцена: Мокрый городской перекрёсток в сумерках, поток машин и робот-курьер.

Что SeedWorld должна угадать: Два разных действия рулём дают два будущих, которые водитель отличит друг от друга.

04 — Контекст

Контексты, в которых пишут модели мира

Гуманоидный робот на мокром переходе — сцена, когда модели мира обсуждают для машин
Работы о роботах и вождении используют предсказанное будущее, чтобы машина могла обдумать действие до того, как его совершит. SeedWorld описывается в этом контексте.

Сцены, которые человек может осмотреть

  • Интерактивные среды. Модели в духе Genie превращают видео в место, которое отвечает на клавиши или движение камеры. Сцены SeedWorld описываются в этом регистре: следующие кадры — ответ, а не готовый ролик, который проигрывают.
  • Движение по планировке. Другая линия моделей мира начинается с одного изображения или короткого описания и пытается держать планировку устойчивой, пока движется точка обзора. SeedWorld описывается как модель, которая держит эту планировку в своём состоянии.
  • Несколько агентов в одной сцене. Если действует больше одного агента, каждое предсказанное будущее должно включать изменения, которые вызывают остальные. Состояние SeedWorld в этом смысле общее: одна сцена, больше одного действия.
  • Кадр, который рассматривают до постройки. Кино уже расставляет сцены в грубом 3D. Выученную модель мира обсуждают там, когда свет, погода и движения камеры держатся от одного продолжения к следующему. Эта согласованность входит в описание SeedWorld.

Будущие, которые машина может прокрутить вперёд

  • Воображение, как у Dreamer. Dreamer обновляет поведение на предсказанных прогонах. Прогон SeedWorld — тот же объект: будущее, которое продолжается внутри модели, прежде чем речь заходит о действии снаружи.
  • Редкие дорожные сцены. Записанные данные вождения плохо представляют лёд, слепящий свет и человека, который внезапно выходит. Модели мира изучают как способ продолжить такие сцены. Уличные предсказания SeedWorld читают по этому употреблению: движение должно следовать действию.
  • Сравнение вариантов. Модельно-предиктивное управление выбирает много последовательностей действий и прокручивает каждую вперёд. SeedWorld — модель, которая давала бы эти следующие состояния. Страница не описывает контроллер, построенный поверх неё.

05 — Рядом с другими системами

SeedWorld рядом с другими видами систем

Эти системы могут показать движущуюся сцену. Они отвечают на разные вопросы. Столбец SeedWorld предсказывает следующее состояние после конкретного действия.

Симулятор, написанный вручнуюГенератор видеоПредсказатель представленийSeedWorld
Что предсказываетСледующее состояние из записанной физикиПравдоподобную последовательность пикселейСледующее вложение сценыСледующее состояние сцены после конкретного действия
Откуда правилаУравнения и код столкновенийСтатистика обучающего видеоВыученное пространство вложенийВыученные закономерности, как у других моделей мира
Меняет ли действие будущее?Да, через записанные правилаТолько если переписать запрос и заново сгенерировать роликДа, в пространстве представленийДа. Этот отклик — то, для чего нужна SeedWorld
Что можно увидетьОтрендеренную 3D-сценуВидеоОбычно ничего зримогоКадры и состояние, из которого они берутся
Как об этом говорятИгры и робототехнические песочницыГотовый кадрПланирование и понимание видеоКак о модели мира: воображение следующего состояния

06 — Один шаг

Как SeedWorld строит одно предсказание

  1. 01

    Прочитать текущее наблюдение

    Кадр, короткое видео, карта глубины или уже несомое латентное состояние. SeedWorld считает это настоящим.

  2. 02

    Взять действие как условие

    Действие — это вход, как у Genie, у моделей мира для вождения и у V-JEPA с условием на действие. Два действия из одного наблюдения — два вопроса.

  3. 03

    Предсказать следующее состояние

    SeedWorld предсказывает следующее состояние и может подать это предсказание обратно. На длинном продолжении видно, держатся ли память и выученная физика.

07 — Вопросы

Вопросы о SeedWorld

Какая это модель?

SeedWorld — модель мира. Она предсказывает, как сцена изменится после действия. Это определение, которое используют для Dreamer, Genie и других моделей с условием на действие: следующее состояние зависит от того, что только что было сделано.

SeedWorld — это генератор видео?

Нет. Генератор видео выбирает ролик, который выглядит правдоподобно. SeedWorld описывают по тому, следует ли будущее действию. Реалистичный ролик без действия на входе — это видео. Предсказание SeedWorld включает действие.

Чем SeedWorld отличается от игрового движка?

Игровой движок двигает сцену записанными правилами: столкновения, гравитация, материалы. SeedWorld, как другие выученные модели мира, берёт эти склонности из данных. Движки точны внутри своих правил. Выученная модель может покрывать сцены, которые никто не расписал, и может ошибаться.

Зачем упоминать V-JEPA и латентные состояния?

V-JEPA предсказывает представление следующего момента, а не каждый пиксель, потому что большая часть пиксельных деталей не меняет решение. SeedWorld описывается с латентным состоянием по той же причине. Кадры — вид этого состояния, а не его замена.

Что такое прогон для SeedWorld?

SeedWorld предсказывает шаг, считает это предсказание новым настоящим и предсказывает снова. Dreamer и модельно-предиктивное управление используют воображаемые будущие такого рода, чтобы сравнивать действия. Прогон — часть модели, а не отдельный продуктовый шаг.

Почему SeedWorld может забыть комнату?

Кадр показывает только то, что камера видит сейчас. Без памяти об объектах и планировке следующий кадр свободен выдумать новый фон. Согласованность на длинном горизонте — открытая задача моделей мира вообще и одна из проверок, которые применяют к SeedWorld.

Чем SeedWorld не является?

SeedWorld — не физический движок, написанный вручную, и не модель «запрос в видео». Здесь её также не описывают как то, чем можно управлять, на что можно подписаться или что можно подключить к другой системе. Страница говорит только, какая это модель, словами, которые уже используют для других моделей мира.

SeedWorld — модель следующего состояния

SeedWorld берёт сцену и действие и предсказывает, чем сцена становится. Генераторы видео, игровые движки и модели представлений отвечают каждый на соседний вопрос. Вопрос, который ставит SeedWorld рядом с другими моделями мира, — это действие: будущее обусловлено им.