- 28,323
- 46
- 8 Ноя 2022
Разбираемся, для чего нужны и как работают мировые модели.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">За последние несколько лет искусственный интеллект для большинства людей почти слился с понятием большой языковой модели. Нейросети пишут тексты, отвечают на вопросы, переводят документы, составляют программный код и поддерживают разговор. Однако крупнейшие инвестиции и исследовательские проекты всё заметнее смещаются в сторону систем, которым предстоит работать не только со словами. Разработчики пытаются научить ИИ строить внутреннее представление окружающей среды, просчитывать последствия действий и создавать пространства, где можно двигаться, менять объекты и наблюдать за дальнейшим развитием событий.
Их называют мировыми моделями. Вместо выдачи очередного фрагмента текста они должны хотя бы приблизительно воспроизводить устройство физического мира. Пользователь или робот совершает действие, после чего модель рассчитывает, что произойдёт дальше. В простейшем случае она показывает продолжение видеозаписи. Более сложные варианты поддерживают перемещение по созданной среде, сохраняют расположение предметов, учитывают действия нескольких участников и пытаются воспроизводить движение объектов.
Направление развивается по логике, противоположной истории чат-ботов. Большие языковые модели сначала получили понятный интерфейс в виде диалога, а уже затем разработчики начали искать для них практические задачи. Создатели мировых моделей идут от конкретных сценариев. Одни проекты предназначены для обучения роботов, другие создают трёхмерные сцены для игр и кинопроизводства, третьи помогают проводить научные эксперименты в виртуальной среде. При этом общепринятого способа взаимодействия с подобными системами пока не существует.
Интерес к новому классу ИИ усилился на фоне сомнений в том, что дальнейшее увеличение языковых моделей само по себе приведёт к интеллекту человеческого уровня. LLM хорошо работают с абстрактными знаниями и закономерностями в тексте, но почти не имеют непосредственного опыта взаимодействия с пространством. Нейросеть может подробно описать падение стакана со стола, не располагая тем внутренним пониманием движения, формы и силы тяжести, которое человек получает с детства через зрение и собственные действия.
Мировые модели должны восполнить часть этого пробела. Им необходимо не просто распознавать предметы на изображении, а учитывать их положение, геометрию и возможное поведение. Если человек открывает дверь, мяч ударяется о стену или робот тянет за край клейкой ленты, система должна определить последующее состояние сцены. Причём речь идёт не об одном заранее записанном ответе. Пользователь может в любой момент повернуть в другую сторону, приблизиться к объекту или выполнить действие, которого первоначальный сценарий не предусматривал.
За последний год разработки вышли далеко за пределы лабораторных экспериментов. Google DeepMind представила Genie 3 , способную создавать интерактивные среды в реальном времени на основе технологий генерации видео. World Labs выпустила Marble, превращающую текст, изображения и ролики в пространства, пригодные для свободного осмотра и экспорта в виде трёхмерных материалов. Runway разработала семейство GWM-1 из трёх специализированных моделей. Одна поддерживает перемещение внутри постоянно генерируемой сцены, вторая создаёт цифровых персонажей с изображением и голосом, третья предназначена для проверки алгоритмов управления роботами.
Коммерческий интерес сопровождается крупными вложениями. World Labs и компания Advanced Machine Intelligence, основанная для разработки ИИ, способного взаимодействовать с физическим миром, привлекли примерно по миллиарду долларов. Runway получила ещё 315 миллионов долларов. Часть инвесторов связывает направление с поиском общего искусственного интеллекта, однако ближайшие планы компаний выглядят гораздо приземлённее. Разработки хотят использовать для подготовки роботов, производства игровых и кинематографических материалов, моделирования физических процессов и проверки решений без дорогостоящих экспериментов в реальности.
Сам термин «мировая модель» пока остаётся расплывчатым. В машинном обучении и робототехнике его применяли задолго до нынешней волны интереса. Так называли системы, прогнозирующие изменения среды после определённого действия. Новизна заключается в масштабе. Разработчики пытаются превратить узкие предсказательные алгоритмы в универсальные генеративные системы, обученные на огромных массивах видео, изображений и других видов данных.
Под одним названием теперь скрываются заметно различающиеся технологии. Мировой моделью могут назвать генератор видео, который принимает команды пользователя, систему создания трёхмерных объектов или инструмент для оценки поведения робота. Термин постепенно превращается не только в техническое определение, но и в маркетинговую вывеску. Компании решают разные задачи, хотя многие рассчитывают со временем объединить их внутри одной крупной модели.
Общие признаки всё же просматриваются. Система должна сформировать внутреннее представление среды, учитывать поступившее действие и вычислить следующее состояние. Ей требуется пространственная, геометрическая и хотя бы приблизительная физическая согласованность. Кроме того, мировые модели изначально создаются мультимодальными. Они могут принимать текст, изображения, видео, команды движения и данные датчиков, а результатом становится не обязательно текст или картинка.
Важное отличие от чат-ботов связано с непрерывностью взаимодействия. Диалог с языковой моделью строится по очереди: человек отправляет сообщение, ждёт ответа и получает законченный блок текста. В виртуальной среде несколько процессов развиваются одновременно. Пользователь движется, камера поворачивается, объекты продолжают менять положение, а модель должна без остановки обновлять происходящее. Подобное взаимодействие ближе к видеоигре или трансляции, чем к переписке.
Основой большинства коммерческих разработок пока служит генерация видео. Поворот в сторону мировых моделей поэтому оказался естественным для компаний, ранее выпускавших инструменты для создания роликов. Первые признаки перехода появились после внедрения управления виртуальной камерой. Когда человек получил возможность направлять её движение внутри генерируемой сцены, результат стал меньше напоминать готовую видеозапись. Пользователь уже не просто создавал ролик, а исследовал пространство, которое нейросеть достраивала по мере перемещения.
Обычные диффузионные видеомодели плохо подходят для такого режима. Диффузия начинается с набора случайного шума. Нейросеть постепенно очищает его, шаг за шагом превращая в осмысленные кадры. Большинство генераторов создаёт сразу целую последовательность и обрабатывает множество кадров одновременно. Подход повышает связность ролика, поскольку система учитывает не только прошлое, но и условное будущее каждого изображения.
Для заранее заданного видео подобная схема удобна. Модель знает всю продолжительность сцены и может согласовать начало с концом. Однако пользователь не способен вмешаться в середине процесса и моментально изменить дальнейшее развитие событий. Более того, одновременная генерация всей последовательности нарушает причинность: информация из будущих кадров влияет на предыдущие, хотя в реальном времени будущее ещё не наступило.
Разработчики мировых моделей обращаются к авторегрессионной диффузии. Нейросеть очищает не весь ролик сразу, а один или несколько кадров подряд. Готовый фрагмент немедленно показывается пользователю. Получив новую команду, система использует её при создании следующей части. Человек может повернуть камеру, пойти в другую сторону или взаимодействовать с предметом, после чего изображение меняется с учётом действия.
За интерактивность приходится платить огромным объёмом вычислений. Каждая новая группа кадров проходит полный цикл удаления шума и должна появляться достаточно быстро, чтобы управление не ощущалось заторможенным. Чем выше качество изображения и сложнее сцена, тем больше ресурсов требуется для непрерывной генерации.
Другая проблема связана с памятью. По мере развития длинной сцены модель постепенно теряет детали, присутствовавшие в начале. Если пользователь вышел из комнаты, прошёл по коридору и вернулся, интерьер может измениться. Стул переместится, цвет стены станет другим, окно исчезнет или появится лишняя дверь. Для правдоподобной среды нейросеть обязана сохранять состояние пространства значительно дольше, чем требуется при создании короткого ролика.
Поддержание постоянства мира остаётся сложной задачей даже для крупнейших моделей. Генератору недостаточно правдоподобно нарисовать каждый отдельный кадр. Ему приходится помнить геометрию помещений, расположение предметов, последствия прежних действий и изменения, произошедшие вне текущего поля зрения. Пространство должно существовать независимо от того, смотрит на него пользователь или нет.
Часть разработчиков рассчитывает получить трёхмерную согласованность без явного описания геометрии. Модель обучают предсказывать двумерные кадры, надеясь, что понимание объёма и устойчивое состояние сцены появятся по мере роста числа параметров, данных и вычислений. Системе не сообщают напрямую, что перед ней трёхмерная комната, и не заставляют хранить её в виде традиционной цифровой модели.
Подход опирается на принцип, известный в машинном обучении как «горький урок». История искусственного интеллекта неоднократно показывала, что конструкции, основанные на тщательно прописанных человеком правилах, со временем уступают масштабируемому обучению на данных. Исследователи вкладывали знания о языке, зрении или мышлении в сложные ручные схемы, но рост вычислительной мощности позволял более универсальным алгоритмам самостоятельно находить полезные закономерности.
Большие языковые модели развиваются по сходному принципу. Им не передают полный набор грамматических правил и не объясняют значение каждого понятия. Нейросеть учится предсказывать продолжение текста и постепенно вырабатывает собственные внутренние представления. Сторонники генеративных мировых моделей рассчитывают повторить результат с пространством и физикой.
Прямое включение человеческих знаний в основу системы может казаться логичным. Люди давно знают, что окружающее пространство имеет три измерения, изучили распространение света и научились описывать движение предметов уравнениями. Однако представление, удобное для человека, не обязательно окажется лучшим форматом для нейросети. Разработчика интересует правильная зависимость между входными данными, действием и результатом, а не сходство внутреннего устройства алгоритма с учебником геометрии.
Полный отказ от явной физики и трёхмерных данных не стал обязательным правилом. Готовые продукты могут сочетать несколько методов. Геометрия, координаты и физические движки остаются полезными, особенно когда требуется экспортировать результат или обеспечить точный контроль. Спор касается прежде всего основы обучения: должна ли модель получать заранее подготовленное описание мира или самостоятельно извлекать нужную структуру из видеозаписей.
Не все проекты вообще стремятся показывать пользователю изображение. Мировая модель для робота может прогнозировать последствия действий в скрытом внутреннем формате. Генерация каждого пикселя в подобных условиях превращается в лишнюю нагрузку. Роботу необязательно знать оттенок стены или мелкий рисунок на ковре, если задача сводится к захвату предмета и переносу его на стол.
Альтернативные архитектуры, включая JEPA, пытаются предсказывать абстрактное состояние сцены, а не создавать подробный будущий кадр. Модель выделяет информацию, необходимую для планирования, и не расходует ресурсы на несущественные визуальные детали. Такой подход может оказаться выгоднее для робототехники, где важны положение объекта, траектория движения и результат контакта, а не фотореалистичное изображение.
Другие системы, напротив, совмещают видео с явным трёхмерным представлением. Результат можно сохранить в виде сетки, нейронного поля излучения или набора гауссовых примитивов. Последний вариант часто называют Gaussian Splatting. Сцена строится из множества полупрозрачных объёмных элементов, различающихся размером, положением, цветом и прозрачностью. При правильном расположении они формируют пространство, которое можно рассматривать с разных сторон.
Нейронные поля излучения, или NeRF, решают сходную задачу иначе. Модель учится восстанавливать цвет и плотность пространства по двумерным фотографиям. Затем пользователь может перемещать виртуальную камеру и получать новые ракурсы, которых не было среди исходных снимков. В отличие от обычной полигональной сетки, эти представления остаются непрерывными и хорошо подходят для обучения нейросетей.
Традиционные трёхмерные модели состоят из вершин, рёбер и полигонов с явно заданной топологией. Для компьютерной графики подобная структура привычна, но в машинном обучении она создаёт сложности. Количество и расположение элементов меняются от объекта к объекту, а через дискретные операции труднее передавать градиенты, необходимые для настройки нейросети. NeRF и Gaussian Splatting позволяют описывать пространство более однородно и проводить обратное распространение ошибки во время обучения.
Marble использует изображения и видео для восстановления структуры сцены, после чего выдаёт материал, совместимый с привычными трёхмерными процессами. Пользователь загружает картинку или ролик, при желании добавляет текстовое описание и получает пространство размером примерно с двор загородного дома. По нему можно перемещаться с помощью клавиатуры и мыши, а затем экспортировать результат для дальнейшей работы.
Практическая ценность этого подхода состоит в сохранности материала. Созданную среду можно передавать другим специалистам, редактировать, встраивать в проект и визуализировать без постоянного обращения к исходной нейросети. Разработчики игр, художники по визуальным эффектам и специалисты по компьютерной графике получают объект, который существует после завершения генерации.
Однако сохранённая трёхмерная сцена обычно остаётся неподвижной. Пользователь свободно меняет точку обзора, но предметы внутри не обладают собственной физикой. Дверь не открывается, ткань не колышется, персонаж не идёт по комнате, а упавший предмет не отскакивает от пола. Динамику приходится добавлять позднее в другом инструменте.
Генерация кадров на лету предлагает противоположный набор преимуществ. Сцена может реагировать на команды, объекты двигаются, действия вызывают видимые последствия. При этом созданный мир существует главным образом во время работы модели. Сохранить его в переносимом и редактируемом формате сложнее, а длительная генерация требует дорогостоящих вычислительных ресурсов.
Два подхода образуют спектр компромиссов. Явная трёхмерная структура дёшево отображается в реальном времени и легко переносится между программами, но плохо приспособлена к сложной динамике. Полностью покадровая система способна воспроизводить движение без заранее подготовленной геометрии, однако остаётся дорогой, нестабильной и менее пригодной для повторного использования.
После создания обычной трёхмерной сцены нейросеть может больше не понадобиться. Материал отображается локально на потребительской видеокарте, как содержимое игры или графического редактора. Преимущество приобретает особое значение на фоне дефицита облачных вычислений и растущей стоимости работы крупных генеративных моделей.
Для обучения роботов сохранение трёхмерного материала играет меньшую роль. Система должна правильно воспроизводить действия, контакты и ошибки. Если манипулятор пытается поднять чашку, симуляция обязана показать не только успешный захват, но и возможное проскальзывание, столкновение с соседним предметом или падение. Статичная сцена, доступная для свободного осмотра, такой информации не содержит.
Несмотря на различия, видео остаётся фундаментом многих нынешних проектов. Одни команды превращают его в экспортируемые трёхмерные пространства, другие используют как непрерывный поток, меняющийся под влиянием команд. Техническая основа часто включает диффузионные модели, а расхождения появляются на уровне результата и предполагаемого применения.
Интерес к мировым моделям тесно связан с дефицитом данных для робототехники. Современные нейросети добились заметных успехов благодаря огромным наборам текстов, изображений и видеозаписей. Роботам нужны сведения другого рода: восприятие обстановки должно быть связано с конкретным действием и его последствиями. Одной записи движения человека недостаточно. Система должна знать, какая команда была отдана, как изменилось положение механизма, что произошло при контакте с объектом и почему попытка завершилась успехом или неудачей.
Беспилотные автомобили оказались в сравнительно благоприятной ситуации. Машина перемещается по дорогам с установленными правилами, а набор возможных действий ограничен ускорением, торможением и поворотом. Данные поступают с видеорегистраторов, камер, лидаров и других датчиков. Дополнительные записи можно получить во время поездок под контролем водителя по тем же маршрутам, где позднее будет работать автоматика.
Домашний гуманоидный робот сталкивается с гораздо менее предсказуемой средой. Ему приходится пользоваться руками, брать предметы разной формы и веса, открывать упаковки, складывать одежду, протирать поверхности и действовать в помещениях, не похожих друг на друга. Число возможных движений резко возрастает, а единых правил, сопоставимых с дорожными, почти нет.
Компании уже платят людям за ношение камер во время домашних дел, чтобы собирать записи для обучения. Однако видеоролик не всегда содержит точную информацию о приложенной силе, движении пальцев и полученной команде. Даже крупный архив бытовых записей не даст достаточного числа редких ошибок и опасных ситуаций. Разворачивать тысячи физических роботов ради накопления опыта слишком дорого, а часть экспериментов может повредить технику, предметы или находящихся рядом людей.
Телоуправление помогает собирать связанные пары восприятия и действия. Оператор дистанционно двигает роботом, а система записывает изображение, положение механизмов и команды. Метод хорошо работает с автомобилями, потому что люди уже умеют водить. Управление гуманоидной машиной с ловкими кистями требует гораздо более сложного оборудования и плохо масштабируется.
Видеоориентированные мировые модели рассматриваются как источник синтетических данных . В виртуальной среде робот способен многократно выполнять одно действие, менять хват, работать с предметами разных размеров и сталкиваться с ошибками без риска для реального оборудования. За короткое время можно создать больше примеров, чем физическая машина собрала бы за месяцы.
Польза появится только при достаточном сходстве симуляции с действительностью. Модель может создать правдоподобное видео, но неверно передать силу трения, массу предмета или характер столкновения. Робот, обученный на неправильной физике, усвоит ошибочную стратегию. Манипулятор привыкнет, что кружка не скользит, ткань не растягивается или клейкая лента отделяется с одинаковым усилием при любом угле.
Даже снятие полоски скотча превращается для машины в сложную последовательность. Нужно найти край, правильно расположить пальцы, захватить тонкий материал, приложить необходимое усилие и продолжать движение, учитывая изменение сопротивления. Ошибка на одном этапе нарушает всё действие. Виртуальная среда должна воспроизвести не только внешний вид ленты, но и контакт, деформацию, сцепление с поверхностью и возможный срыв захвата.
Сторонники мировых моделей полагают, что видеонейросети способны получить полезное представление о физике без заранее прописанных законов. Для точного предсказания следующего кадра системе приходится учитывать движение людей, предметов и камеры. Мяч продолжает полёт по определённой траектории, тело сохраняет равновесие, а объект после толчка меняет скорость. Чем лучше модель справляется с продолжением видео, тем больше закономерностей окружающего мира ей приходится отражать внутри себя.
Физические правила при таком подходе не записываются в явном виде. Нейросеть не получает набор уравнений механики и не обязана хранить трёхмерную сетку сцены. Полезная информация формируется в латентном пространстве, то есть внутри скрытых представлений модели.
Латентное пространство нельзя увидеть непосредственно во входных или выходных данных. Оно состоит из активаций, векторных представлений и сжатых состояний, возникающих во время обучения. Человек тоже не хранит окружающую комнату в голове в виде готовой полигональной модели. Память содержит сведения о положении и свойствах предметов, но их внутренний формат недоступен сознанию.
Мировая модель может прийти к похожему решению. Разработчики заставляют её снова и снова предсказывать продолжение видео. Чтобы выполнять задачу достаточно точно, нейросеть самостоятельно создаёт способ представления глубины, формы, движения и причинных связей. Полученная структура может не напоминать привычную геометрию, но всё равно поддерживать нужное поведение.
Невозможность полностью расшифровать внутреннее устройство не обязательно делает систему бесполезной. Критерием служит точность результатов. Если модель стабильно предсказывает последствия действий, помогает обучать роботов и правильно оценивает их алгоритмы управления, скрытая форма знаний может оказаться приемлемой.
Проверка требует гораздо более строгих методов, чем просмотр эффектной демонстрации. Один из вариантов заключается в сравнении виртуального и реального эксперимента. Роботу дают одинаковое задание в физической среде и внутри мировой модели . Если успешные и неудачные попытки совпадают, симуляцию можно использовать для предварительной оценки управляющей программы.
Физику проверяют отдельно. Исследователи создают простую сцену, например шар, подвешенный к потолку. Модели показывают первый кадр и предлагают сгенерировать дальнейшее движение. Затем виртуальную траекторию сопоставляют с настоящей видеозаписью. Аналогичные испытания можно проводить для твёрдых тел, тепловых процессов, столкновений и других явлений, где результат допускает точное измерение.
Набор экспериментов должен включать не только знакомые условия. Полезная модель обязана улучшать обучение и оценку робота при выполнении задач, которых не было в её настройке. Проверку следует проводить в новых помещениях, с другими объектами и с сохранением неудачных попыток. Ошибки нельзя вырезать из демонстрации, поскольку способность воспроизводить отказ не менее важна, чем показ успешного действия.
Сравнивать мировые модели нужно и с более простыми средствами, включая обычные физические симуляторы. Красивая генерация видео сама по себе не доказывает, что нейросеть надёжнее, дешевле или лучше масштабируется. Традиционный движок может уступать в фотореализме, но точнее рассчитывать контакт, падение и трение.
Нынешние исследования уже показывают пользу видеомоделей для создания синтетических данных, оценки управляющих алгоритмов и отдельных задач планирования. Однако роль универсального физического симулятора пока не доказана. Небольшое расхождение в силе контакта или свойствах поверхности способно разрушить стратегию, которая безупречно работала в виртуальной среде.
Реальный мир неизбежно подбрасывает варианты, отсутствовавшие в обучении. Предмет может оказаться мокрым, повреждённым, слишком тяжёлым или лежать под непривычным углом. Освещение изменится, камера частично перекроется, а рядом появится человек. Надёжная система должна справляться не только с аккуратно подготовленной сценой.
По этой причине рекламные ролики робототехнических компаний часто создают завышенное впечатление. Разработчики могут подобрать помещение, освещение, предметы и задание, на которых система работает лучше всего. Демонстрация подтверждает возможность конкретного действия в контролируемых условиях, но не способность перенести навык на тысячи непредвиденных ситуаций.
Нерешёнными остаются и вопросы пользовательского интерфейса. Любой человек понимает принцип чат-бота без специального обучения: нужно написать вопрос и получить ответ. У мировых моделей нет столь же очевидной формы взаимодействия.
Для исследования виртуального пространства подойдёт игровой контроллер, клавиатура или аватар. Специалисту по трёхмерной графике понадобится редактор, напоминающий Blender или Unreal Engine. Робот будет обращаться к модели через программный интерфейс и передавать команды в виде массивов чисел. Научная система может вообще не показывать человеку изображение, выдавая только вычисленные состояния или вероятности.
Единого интерфейса, вероятно, не появится. Различные применения требуют собственных способов управления и представления результата. Главный вопрос сейчас связан не столько с наличием трансформеров или диффузии внутри системы, сколько с тем, какие данные она должна принимать, что именно предсказывать и как пользователь сможет контролировать процесс.
Разработчики также спорят о специализации. Одна крупная модель теоретически способна обслуживать множество направлений. Знания, полученные при генерации людей, могут пригодиться для робототехники, а обучение на виртуальной навигации улучшит понимание пространства. Единая система проще для внедрения, поскольку пользователю не приходится выбирать отдельную модель под каждую задачу.
Практические ограничения пока заставляют разделять продукты. Семейство GWM-1 включает три версии для интерактивной навигации, цифровых персонажей и роботов. Компания рассчитывает позднее объединить их, но выпуск специализированных решений позволяет быстрее удовлетворить текущие запросы заказчиков.
Слишком сильная фрагментация может означать, что технология не нашла универсального основания. Компании рассчитывают создать модель, через которую можно пропускать разные потоки визуальных данных и получать общее пространственное представление. Для отдельных отраслей поверх него будут строиться дополнительные инструменты и небольшие доработки.
Мировые модели способны уменьшить разобщённость уже существующих производственных процессов. Кино и видеоигры используют трёхмерные материалы, но требования к ним различаются. Объект для фильма может содержать огромное число деталей, поскольку кадр заранее просчитывается на мощном оборудовании. Игровая версия должна отображаться в реальном времени на компьютере или консоли, поэтому геометрию, текстуры и эффекты приходится переделывать.
Даже когда фильм и игра принадлежат одной франшизе, передать созданные материалы из одного производства в другое непросто. Команды работают в разных программах и форматах, а объекты рассчитаны на разные способы визуализации. Их создание обходится дорого, поэтому автоматическое преобразование и повторное использование способны заметно сократить расходы.
ИИ-инструменты могут взять на себя часть адаптации. Модель восстановит геометрию, изменит уровень детализации, подготовит материал под другую программу или создаст недостающие ракурсы. Разработчики графических движков уже пытаются объединять инструменты для кино, игр и визуализации, а мировые модели способны ускорить сближение отраслей.
Ни один из конкурирующих подходов пока не победил. Неясно, стоит ли строить обучение вокруг явной трёхмерной геометрии или полагаться на скрытые представления видеомодели. Нет уверенности, что авторегрессионная диффузия окажется экономически пригодной для долгих интерактивных сцен. Не определён и лучший формат результата: видео, трёхмерный объект, абстрактное состояние или набор данных для другой нейросети.
Под вопросом остаётся даже центральная роль генеративного видео в будущем физического ИИ. Оно может стать важной частью решения, одним из нескольких этапов предварительного обучения или временным направлением, которое уступит место другой архитектуре. Однако накопленные данные и вычислительные возможности впервые позволяют проверять такие идеи в большом масштабе, а не ограничиваться небольшими лабораторными опытами.
Инвестиции в мировые модели поэтому напоминают серию дорогостоящих ставок. Компании проверяют одновременно несколько предположений: сможет ли нейросеть самостоятельно вывести полезную физику из видео, получится ли удерживать состояние виртуального мира, пригодятся ли синтетические данные роботам и найдётся ли для технологии понятный массовый продукт.
Ближайшие результаты, вероятно, появятся в робототехнике, производстве и создании цифровых материалов. Мировые модели необязательно станут единственным или окончательным способом построения физического интеллекта. Даже частичное решение проблемы данных для роботов или автоматизация подготовки трёхмерных сцен уже оправдает значительную часть интереса к направлению.
Последняя волна развития ИИ началась с систем, научившихся уверенно обращаться со словами. Теперь разработчики пытаются выяснить, можно ли теми же масштабируемыми методами научить машину учитывать пространство, движение и последствия собственных действий. Ответ пока не найден, но дальнейшее развитие искусственного интеллекта всё меньше ограничивается окном чата.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:1200/676;margin-bottom:2rem;overflow:hidden">
<div itemprop="articleBody">За последние несколько лет искусственный интеллект для большинства людей почти слился с понятием большой языковой модели. Нейросети пишут тексты, отвечают на вопросы, переводят документы, составляют программный код и поддерживают разговор. Однако крупнейшие инвестиции и исследовательские проекты всё заметнее смещаются в сторону систем, которым предстоит работать не только со словами. Разработчики пытаются научить ИИ строить внутреннее представление окружающей среды, просчитывать последствия действий и создавать пространства, где можно двигаться, менять объекты и наблюдать за дальнейшим развитием событий.
Их называют мировыми моделями. Вместо выдачи очередного фрагмента текста они должны хотя бы приблизительно воспроизводить устройство физического мира. Пользователь или робот совершает действие, после чего модель рассчитывает, что произойдёт дальше. В простейшем случае она показывает продолжение видеозаписи. Более сложные варианты поддерживают перемещение по созданной среде, сохраняют расположение предметов, учитывают действия нескольких участников и пытаются воспроизводить движение объектов.
Направление развивается по логике, противоположной истории чат-ботов. Большие языковые модели сначала получили понятный интерфейс в виде диалога, а уже затем разработчики начали искать для них практические задачи. Создатели мировых моделей идут от конкретных сценариев. Одни проекты предназначены для обучения роботов, другие создают трёхмерные сцены для игр и кинопроизводства, третьи помогают проводить научные эксперименты в виртуальной среде. При этом общепринятого способа взаимодействия с подобными системами пока не существует.
Интерес к новому классу ИИ усилился на фоне сомнений в том, что дальнейшее увеличение языковых моделей само по себе приведёт к интеллекту человеческого уровня. LLM хорошо работают с абстрактными знаниями и закономерностями в тексте, но почти не имеют непосредственного опыта взаимодействия с пространством. Нейросеть может подробно описать падение стакана со стола, не располагая тем внутренним пониманием движения, формы и силы тяжести, которое человек получает с детства через зрение и собственные действия.
Мировые модели должны восполнить часть этого пробела. Им необходимо не просто распознавать предметы на изображении, а учитывать их положение, геометрию и возможное поведение. Если человек открывает дверь, мяч ударяется о стену или робот тянет за край клейкой ленты, система должна определить последующее состояние сцены. Причём речь идёт не об одном заранее записанном ответе. Пользователь может в любой момент повернуть в другую сторону, приблизиться к объекту или выполнить действие, которого первоначальный сценарий не предусматривал.
За последний год разработки вышли далеко за пределы лабораторных экспериментов. Google DeepMind представила Genie 3 , способную создавать интерактивные среды в реальном времени на основе технологий генерации видео. World Labs выпустила Marble, превращающую текст, изображения и ролики в пространства, пригодные для свободного осмотра и экспорта в виде трёхмерных материалов. Runway разработала семейство GWM-1 из трёх специализированных моделей. Одна поддерживает перемещение внутри постоянно генерируемой сцены, вторая создаёт цифровых персонажей с изображением и голосом, третья предназначена для проверки алгоритмов управления роботами.
Коммерческий интерес сопровождается крупными вложениями. World Labs и компания Advanced Machine Intelligence, основанная для разработки ИИ, способного взаимодействовать с физическим миром, привлекли примерно по миллиарду долларов. Runway получила ещё 315 миллионов долларов. Часть инвесторов связывает направление с поиском общего искусственного интеллекта, однако ближайшие планы компаний выглядят гораздо приземлённее. Разработки хотят использовать для подготовки роботов, производства игровых и кинематографических материалов, моделирования физических процессов и проверки решений без дорогостоящих экспериментов в реальности.
Сам термин «мировая модель» пока остаётся расплывчатым. В машинном обучении и робототехнике его применяли задолго до нынешней волны интереса. Так называли системы, прогнозирующие изменения среды после определённого действия. Новизна заключается в масштабе. Разработчики пытаются превратить узкие предсказательные алгоритмы в универсальные генеративные системы, обученные на огромных массивах видео, изображений и других видов данных.
Под одним названием теперь скрываются заметно различающиеся технологии. Мировой моделью могут назвать генератор видео, который принимает команды пользователя, систему создания трёхмерных объектов или инструмент для оценки поведения робота. Термин постепенно превращается не только в техническое определение, но и в маркетинговую вывеску. Компании решают разные задачи, хотя многие рассчитывают со временем объединить их внутри одной крупной модели.
Общие признаки всё же просматриваются. Система должна сформировать внутреннее представление среды, учитывать поступившее действие и вычислить следующее состояние. Ей требуется пространственная, геометрическая и хотя бы приблизительная физическая согласованность. Кроме того, мировые модели изначально создаются мультимодальными. Они могут принимать текст, изображения, видео, команды движения и данные датчиков, а результатом становится не обязательно текст или картинка.
Важное отличие от чат-ботов связано с непрерывностью взаимодействия. Диалог с языковой моделью строится по очереди: человек отправляет сообщение, ждёт ответа и получает законченный блок текста. В виртуальной среде несколько процессов развиваются одновременно. Пользователь движется, камера поворачивается, объекты продолжают менять положение, а модель должна без остановки обновлять происходящее. Подобное взаимодействие ближе к видеоигре или трансляции, чем к переписке.
Основой большинства коммерческих разработок пока служит генерация видео. Поворот в сторону мировых моделей поэтому оказался естественным для компаний, ранее выпускавших инструменты для создания роликов. Первые признаки перехода появились после внедрения управления виртуальной камерой. Когда человек получил возможность направлять её движение внутри генерируемой сцены, результат стал меньше напоминать готовую видеозапись. Пользователь уже не просто создавал ролик, а исследовал пространство, которое нейросеть достраивала по мере перемещения.
Обычные диффузионные видеомодели плохо подходят для такого режима. Диффузия начинается с набора случайного шума. Нейросеть постепенно очищает его, шаг за шагом превращая в осмысленные кадры. Большинство генераторов создаёт сразу целую последовательность и обрабатывает множество кадров одновременно. Подход повышает связность ролика, поскольку система учитывает не только прошлое, но и условное будущее каждого изображения.
Для заранее заданного видео подобная схема удобна. Модель знает всю продолжительность сцены и может согласовать начало с концом. Однако пользователь не способен вмешаться в середине процесса и моментально изменить дальнейшее развитие событий. Более того, одновременная генерация всей последовательности нарушает причинность: информация из будущих кадров влияет на предыдущие, хотя в реальном времени будущее ещё не наступило.
Разработчики мировых моделей обращаются к авторегрессионной диффузии. Нейросеть очищает не весь ролик сразу, а один или несколько кадров подряд. Готовый фрагмент немедленно показывается пользователю. Получив новую команду, система использует её при создании следующей части. Человек может повернуть камеру, пойти в другую сторону или взаимодействовать с предметом, после чего изображение меняется с учётом действия.
За интерактивность приходится платить огромным объёмом вычислений. Каждая новая группа кадров проходит полный цикл удаления шума и должна появляться достаточно быстро, чтобы управление не ощущалось заторможенным. Чем выше качество изображения и сложнее сцена, тем больше ресурсов требуется для непрерывной генерации.
Другая проблема связана с памятью. По мере развития длинной сцены модель постепенно теряет детали, присутствовавшие в начале. Если пользователь вышел из комнаты, прошёл по коридору и вернулся, интерьер может измениться. Стул переместится, цвет стены станет другим, окно исчезнет или появится лишняя дверь. Для правдоподобной среды нейросеть обязана сохранять состояние пространства значительно дольше, чем требуется при создании короткого ролика.
Поддержание постоянства мира остаётся сложной задачей даже для крупнейших моделей. Генератору недостаточно правдоподобно нарисовать каждый отдельный кадр. Ему приходится помнить геометрию помещений, расположение предметов, последствия прежних действий и изменения, произошедшие вне текущего поля зрения. Пространство должно существовать независимо от того, смотрит на него пользователь или нет.
Часть разработчиков рассчитывает получить трёхмерную согласованность без явного описания геометрии. Модель обучают предсказывать двумерные кадры, надеясь, что понимание объёма и устойчивое состояние сцены появятся по мере роста числа параметров, данных и вычислений. Системе не сообщают напрямую, что перед ней трёхмерная комната, и не заставляют хранить её в виде традиционной цифровой модели.
Подход опирается на принцип, известный в машинном обучении как «горький урок». История искусственного интеллекта неоднократно показывала, что конструкции, основанные на тщательно прописанных человеком правилах, со временем уступают масштабируемому обучению на данных. Исследователи вкладывали знания о языке, зрении или мышлении в сложные ручные схемы, но рост вычислительной мощности позволял более универсальным алгоритмам самостоятельно находить полезные закономерности.
Большие языковые модели развиваются по сходному принципу. Им не передают полный набор грамматических правил и не объясняют значение каждого понятия. Нейросеть учится предсказывать продолжение текста и постепенно вырабатывает собственные внутренние представления. Сторонники генеративных мировых моделей рассчитывают повторить результат с пространством и физикой.
Прямое включение человеческих знаний в основу системы может казаться логичным. Люди давно знают, что окружающее пространство имеет три измерения, изучили распространение света и научились описывать движение предметов уравнениями. Однако представление, удобное для человека, не обязательно окажется лучшим форматом для нейросети. Разработчика интересует правильная зависимость между входными данными, действием и результатом, а не сходство внутреннего устройства алгоритма с учебником геометрии.
Полный отказ от явной физики и трёхмерных данных не стал обязательным правилом. Готовые продукты могут сочетать несколько методов. Геометрия, координаты и физические движки остаются полезными, особенно когда требуется экспортировать результат или обеспечить точный контроль. Спор касается прежде всего основы обучения: должна ли модель получать заранее подготовленное описание мира или самостоятельно извлекать нужную структуру из видеозаписей.
Не все проекты вообще стремятся показывать пользователю изображение. Мировая модель для робота может прогнозировать последствия действий в скрытом внутреннем формате. Генерация каждого пикселя в подобных условиях превращается в лишнюю нагрузку. Роботу необязательно знать оттенок стены или мелкий рисунок на ковре, если задача сводится к захвату предмета и переносу его на стол.
Альтернативные архитектуры, включая JEPA, пытаются предсказывать абстрактное состояние сцены, а не создавать подробный будущий кадр. Модель выделяет информацию, необходимую для планирования, и не расходует ресурсы на несущественные визуальные детали. Такой подход может оказаться выгоднее для робототехники, где важны положение объекта, траектория движения и результат контакта, а не фотореалистичное изображение.
Другие системы, напротив, совмещают видео с явным трёхмерным представлением. Результат можно сохранить в виде сетки, нейронного поля излучения или набора гауссовых примитивов. Последний вариант часто называют Gaussian Splatting. Сцена строится из множества полупрозрачных объёмных элементов, различающихся размером, положением, цветом и прозрачностью. При правильном расположении они формируют пространство, которое можно рассматривать с разных сторон.
Нейронные поля излучения, или NeRF, решают сходную задачу иначе. Модель учится восстанавливать цвет и плотность пространства по двумерным фотографиям. Затем пользователь может перемещать виртуальную камеру и получать новые ракурсы, которых не было среди исходных снимков. В отличие от обычной полигональной сетки, эти представления остаются непрерывными и хорошо подходят для обучения нейросетей.
Традиционные трёхмерные модели состоят из вершин, рёбер и полигонов с явно заданной топологией. Для компьютерной графики подобная структура привычна, но в машинном обучении она создаёт сложности. Количество и расположение элементов меняются от объекта к объекту, а через дискретные операции труднее передавать градиенты, необходимые для настройки нейросети. NeRF и Gaussian Splatting позволяют описывать пространство более однородно и проводить обратное распространение ошибки во время обучения.
Marble использует изображения и видео для восстановления структуры сцены, после чего выдаёт материал, совместимый с привычными трёхмерными процессами. Пользователь загружает картинку или ролик, при желании добавляет текстовое описание и получает пространство размером примерно с двор загородного дома. По нему можно перемещаться с помощью клавиатуры и мыши, а затем экспортировать результат для дальнейшей работы.
Практическая ценность этого подхода состоит в сохранности материала. Созданную среду можно передавать другим специалистам, редактировать, встраивать в проект и визуализировать без постоянного обращения к исходной нейросети. Разработчики игр, художники по визуальным эффектам и специалисты по компьютерной графике получают объект, который существует после завершения генерации.
Однако сохранённая трёхмерная сцена обычно остаётся неподвижной. Пользователь свободно меняет точку обзора, но предметы внутри не обладают собственной физикой. Дверь не открывается, ткань не колышется, персонаж не идёт по комнате, а упавший предмет не отскакивает от пола. Динамику приходится добавлять позднее в другом инструменте.
Генерация кадров на лету предлагает противоположный набор преимуществ. Сцена может реагировать на команды, объекты двигаются, действия вызывают видимые последствия. При этом созданный мир существует главным образом во время работы модели. Сохранить его в переносимом и редактируемом формате сложнее, а длительная генерация требует дорогостоящих вычислительных ресурсов.
Два подхода образуют спектр компромиссов. Явная трёхмерная структура дёшево отображается в реальном времени и легко переносится между программами, но плохо приспособлена к сложной динамике. Полностью покадровая система способна воспроизводить движение без заранее подготовленной геометрии, однако остаётся дорогой, нестабильной и менее пригодной для повторного использования.
После создания обычной трёхмерной сцены нейросеть может больше не понадобиться. Материал отображается локально на потребительской видеокарте, как содержимое игры или графического редактора. Преимущество приобретает особое значение на фоне дефицита облачных вычислений и растущей стоимости работы крупных генеративных моделей.
Для обучения роботов сохранение трёхмерного материала играет меньшую роль. Система должна правильно воспроизводить действия, контакты и ошибки. Если манипулятор пытается поднять чашку, симуляция обязана показать не только успешный захват, но и возможное проскальзывание, столкновение с соседним предметом или падение. Статичная сцена, доступная для свободного осмотра, такой информации не содержит.
Несмотря на различия, видео остаётся фундаментом многих нынешних проектов. Одни команды превращают его в экспортируемые трёхмерные пространства, другие используют как непрерывный поток, меняющийся под влиянием команд. Техническая основа часто включает диффузионные модели, а расхождения появляются на уровне результата и предполагаемого применения.
Интерес к мировым моделям тесно связан с дефицитом данных для робототехники. Современные нейросети добились заметных успехов благодаря огромным наборам текстов, изображений и видеозаписей. Роботам нужны сведения другого рода: восприятие обстановки должно быть связано с конкретным действием и его последствиями. Одной записи движения человека недостаточно. Система должна знать, какая команда была отдана, как изменилось положение механизма, что произошло при контакте с объектом и почему попытка завершилась успехом или неудачей.
Беспилотные автомобили оказались в сравнительно благоприятной ситуации. Машина перемещается по дорогам с установленными правилами, а набор возможных действий ограничен ускорением, торможением и поворотом. Данные поступают с видеорегистраторов, камер, лидаров и других датчиков. Дополнительные записи можно получить во время поездок под контролем водителя по тем же маршрутам, где позднее будет работать автоматика.
Домашний гуманоидный робот сталкивается с гораздо менее предсказуемой средой. Ему приходится пользоваться руками, брать предметы разной формы и веса, открывать упаковки, складывать одежду, протирать поверхности и действовать в помещениях, не похожих друг на друга. Число возможных движений резко возрастает, а единых правил, сопоставимых с дорожными, почти нет.
Компании уже платят людям за ношение камер во время домашних дел, чтобы собирать записи для обучения. Однако видеоролик не всегда содержит точную информацию о приложенной силе, движении пальцев и полученной команде. Даже крупный архив бытовых записей не даст достаточного числа редких ошибок и опасных ситуаций. Разворачивать тысячи физических роботов ради накопления опыта слишком дорого, а часть экспериментов может повредить технику, предметы или находящихся рядом людей.
Телоуправление помогает собирать связанные пары восприятия и действия. Оператор дистанционно двигает роботом, а система записывает изображение, положение механизмов и команды. Метод хорошо работает с автомобилями, потому что люди уже умеют водить. Управление гуманоидной машиной с ловкими кистями требует гораздо более сложного оборудования и плохо масштабируется.
Видеоориентированные мировые модели рассматриваются как источник синтетических данных . В виртуальной среде робот способен многократно выполнять одно действие, менять хват, работать с предметами разных размеров и сталкиваться с ошибками без риска для реального оборудования. За короткое время можно создать больше примеров, чем физическая машина собрала бы за месяцы.
Польза появится только при достаточном сходстве симуляции с действительностью. Модель может создать правдоподобное видео, но неверно передать силу трения, массу предмета или характер столкновения. Робот, обученный на неправильной физике, усвоит ошибочную стратегию. Манипулятор привыкнет, что кружка не скользит, ткань не растягивается или клейкая лента отделяется с одинаковым усилием при любом угле.
Даже снятие полоски скотча превращается для машины в сложную последовательность. Нужно найти край, правильно расположить пальцы, захватить тонкий материал, приложить необходимое усилие и продолжать движение, учитывая изменение сопротивления. Ошибка на одном этапе нарушает всё действие. Виртуальная среда должна воспроизвести не только внешний вид ленты, но и контакт, деформацию, сцепление с поверхностью и возможный срыв захвата.
Сторонники мировых моделей полагают, что видеонейросети способны получить полезное представление о физике без заранее прописанных законов. Для точного предсказания следующего кадра системе приходится учитывать движение людей, предметов и камеры. Мяч продолжает полёт по определённой траектории, тело сохраняет равновесие, а объект после толчка меняет скорость. Чем лучше модель справляется с продолжением видео, тем больше закономерностей окружающего мира ей приходится отражать внутри себя.
Физические правила при таком подходе не записываются в явном виде. Нейросеть не получает набор уравнений механики и не обязана хранить трёхмерную сетку сцены. Полезная информация формируется в латентном пространстве, то есть внутри скрытых представлений модели.
Латентное пространство нельзя увидеть непосредственно во входных или выходных данных. Оно состоит из активаций, векторных представлений и сжатых состояний, возникающих во время обучения. Человек тоже не хранит окружающую комнату в голове в виде готовой полигональной модели. Память содержит сведения о положении и свойствах предметов, но их внутренний формат недоступен сознанию.
Мировая модель может прийти к похожему решению. Разработчики заставляют её снова и снова предсказывать продолжение видео. Чтобы выполнять задачу достаточно точно, нейросеть самостоятельно создаёт способ представления глубины, формы, движения и причинных связей. Полученная структура может не напоминать привычную геометрию, но всё равно поддерживать нужное поведение.
Невозможность полностью расшифровать внутреннее устройство не обязательно делает систему бесполезной. Критерием служит точность результатов. Если модель стабильно предсказывает последствия действий, помогает обучать роботов и правильно оценивает их алгоритмы управления, скрытая форма знаний может оказаться приемлемой.
Проверка требует гораздо более строгих методов, чем просмотр эффектной демонстрации. Один из вариантов заключается в сравнении виртуального и реального эксперимента. Роботу дают одинаковое задание в физической среде и внутри мировой модели . Если успешные и неудачные попытки совпадают, симуляцию можно использовать для предварительной оценки управляющей программы.
Физику проверяют отдельно. Исследователи создают простую сцену, например шар, подвешенный к потолку. Модели показывают первый кадр и предлагают сгенерировать дальнейшее движение. Затем виртуальную траекторию сопоставляют с настоящей видеозаписью. Аналогичные испытания можно проводить для твёрдых тел, тепловых процессов, столкновений и других явлений, где результат допускает точное измерение.
Набор экспериментов должен включать не только знакомые условия. Полезная модель обязана улучшать обучение и оценку робота при выполнении задач, которых не было в её настройке. Проверку следует проводить в новых помещениях, с другими объектами и с сохранением неудачных попыток. Ошибки нельзя вырезать из демонстрации, поскольку способность воспроизводить отказ не менее важна, чем показ успешного действия.
Сравнивать мировые модели нужно и с более простыми средствами, включая обычные физические симуляторы. Красивая генерация видео сама по себе не доказывает, что нейросеть надёжнее, дешевле или лучше масштабируется. Традиционный движок может уступать в фотореализме, но точнее рассчитывать контакт, падение и трение.
Нынешние исследования уже показывают пользу видеомоделей для создания синтетических данных, оценки управляющих алгоритмов и отдельных задач планирования. Однако роль универсального физического симулятора пока не доказана. Небольшое расхождение в силе контакта или свойствах поверхности способно разрушить стратегию, которая безупречно работала в виртуальной среде.
Реальный мир неизбежно подбрасывает варианты, отсутствовавшие в обучении. Предмет может оказаться мокрым, повреждённым, слишком тяжёлым или лежать под непривычным углом. Освещение изменится, камера частично перекроется, а рядом появится человек. Надёжная система должна справляться не только с аккуратно подготовленной сценой.
По этой причине рекламные ролики робототехнических компаний часто создают завышенное впечатление. Разработчики могут подобрать помещение, освещение, предметы и задание, на которых система работает лучше всего. Демонстрация подтверждает возможность конкретного действия в контролируемых условиях, но не способность перенести навык на тысячи непредвиденных ситуаций.
Нерешёнными остаются и вопросы пользовательского интерфейса. Любой человек понимает принцип чат-бота без специального обучения: нужно написать вопрос и получить ответ. У мировых моделей нет столь же очевидной формы взаимодействия.
Для исследования виртуального пространства подойдёт игровой контроллер, клавиатура или аватар. Специалисту по трёхмерной графике понадобится редактор, напоминающий Blender или Unreal Engine. Робот будет обращаться к модели через программный интерфейс и передавать команды в виде массивов чисел. Научная система может вообще не показывать человеку изображение, выдавая только вычисленные состояния или вероятности.
Единого интерфейса, вероятно, не появится. Различные применения требуют собственных способов управления и представления результата. Главный вопрос сейчас связан не столько с наличием трансформеров или диффузии внутри системы, сколько с тем, какие данные она должна принимать, что именно предсказывать и как пользователь сможет контролировать процесс.
Разработчики также спорят о специализации. Одна крупная модель теоретически способна обслуживать множество направлений. Знания, полученные при генерации людей, могут пригодиться для робототехники, а обучение на виртуальной навигации улучшит понимание пространства. Единая система проще для внедрения, поскольку пользователю не приходится выбирать отдельную модель под каждую задачу.
Практические ограничения пока заставляют разделять продукты. Семейство GWM-1 включает три версии для интерактивной навигации, цифровых персонажей и роботов. Компания рассчитывает позднее объединить их, но выпуск специализированных решений позволяет быстрее удовлетворить текущие запросы заказчиков.
Слишком сильная фрагментация может означать, что технология не нашла универсального основания. Компании рассчитывают создать модель, через которую можно пропускать разные потоки визуальных данных и получать общее пространственное представление. Для отдельных отраслей поверх него будут строиться дополнительные инструменты и небольшие доработки.
Мировые модели способны уменьшить разобщённость уже существующих производственных процессов. Кино и видеоигры используют трёхмерные материалы, но требования к ним различаются. Объект для фильма может содержать огромное число деталей, поскольку кадр заранее просчитывается на мощном оборудовании. Игровая версия должна отображаться в реальном времени на компьютере или консоли, поэтому геометрию, текстуры и эффекты приходится переделывать.
Даже когда фильм и игра принадлежат одной франшизе, передать созданные материалы из одного производства в другое непросто. Команды работают в разных программах и форматах, а объекты рассчитаны на разные способы визуализации. Их создание обходится дорого, поэтому автоматическое преобразование и повторное использование способны заметно сократить расходы.
ИИ-инструменты могут взять на себя часть адаптации. Модель восстановит геометрию, изменит уровень детализации, подготовит материал под другую программу или создаст недостающие ракурсы. Разработчики графических движков уже пытаются объединять инструменты для кино, игр и визуализации, а мировые модели способны ускорить сближение отраслей.
Ни один из конкурирующих подходов пока не победил. Неясно, стоит ли строить обучение вокруг явной трёхмерной геометрии или полагаться на скрытые представления видеомодели. Нет уверенности, что авторегрессионная диффузия окажется экономически пригодной для долгих интерактивных сцен. Не определён и лучший формат результата: видео, трёхмерный объект, абстрактное состояние или набор данных для другой нейросети.
Под вопросом остаётся даже центральная роль генеративного видео в будущем физического ИИ. Оно может стать важной частью решения, одним из нескольких этапов предварительного обучения или временным направлением, которое уступит место другой архитектуре. Однако накопленные данные и вычислительные возможности впервые позволяют проверять такие идеи в большом масштабе, а не ограничиваться небольшими лабораторными опытами.
Инвестиции в мировые модели поэтому напоминают серию дорогостоящих ставок. Компании проверяют одновременно несколько предположений: сможет ли нейросеть самостоятельно вывести полезную физику из видео, получится ли удерживать состояние виртуального мира, пригодятся ли синтетические данные роботам и найдётся ли для технологии понятный массовый продукт.
Ближайшие результаты, вероятно, появятся в робототехнике, производстве и создании цифровых материалов. Мировые модели необязательно станут единственным или окончательным способом построения физического интеллекта. Даже частичное решение проблемы данных для роботов или автоматизация подготовки трёхмерных сцен уже оправдает значительную часть интереса к направлению.
Последняя волна развития ИИ началась с систем, научившихся уверенно обращаться со словами. Теперь разработчики пытаются выяснить, можно ли теми же масштабируемыми методами научить машину учитывать пространство, движение и последствия собственных действий. Ответ пока не найден, но дальнейшее развитие искусственного интеллекта всё меньше ограничивается окном чата.
- Источник новости
- www.securitylab.ru
