06.05.2025Admin Admin

Как четырёхмерные мировые модели меняют робототехнику и ИИ

Когда робот-манипулятор тянется к яблоку, он видит не набор разрозненных кадров, а целостный четырёхмерный мир, где пространство и время сплетены воедино. Однако большинство современных «мировых моделей» для ИИ довольствуются плоскими видеороликами — они игнорируют глубину, форму и законы геометрии, которые в реальном мире делают движение правдоподобным. Именно с этой проблемой сталкиваются и исследователи робототехники: двумерное предсказание кадров часто рушится, когда требуется точный захват предмета или планирование сложной траектории. Шесть дней назад группа учёных из UMass Amherst, HKUST и Harvard представила на arXiv работу «TesserAct: Learning 4D Embodied World Models» — первую полный-цикл систему, превращающую один снимок сцены и текстовое задание в связное во времени 4D-представление мира, пригодное для реального планирования действий.

Ключ к прорыву — данные. Авторы автоматически расширили четыре популярных набора роботических видеороликов (RLBench, RT-1 Fractal, Bridge и Something-Something V2) глубинными и нормалевыми картами, собрав 285 000 клипов, где каждая из 49 рамок теперь содержит не только RGB, но и карту глубины и ориентацию поверхностей. Для реальных сцен они используют RollingDepth и Marigold-LCM, для синтетики — симулятор и Depth2Normal, тем самым сняв проклятие ручной разметки и подготовив основу для масштабирования.

На этой базе была дообучена латентная видеодиффузия CogVideoX: три независимых проекции загоняют латенты RGB, глубины и нормали в общий DiT-бэкбон, а на выходе отдельные головки восстанавливают каждую модальность. Система принимает текстовую инструкцию вида «pick up apple google robot» и один исходный кадр, после чего «дорисовывает» будущее на десятки шагов вперёд. Само по себе это ещё не 4D, поэтому второй слой алгоритма оптимизирует карты глубины через интеграцию нормалей и привязывает соседние кадры оптическим потоком, вводя две новые функции потерь — на временную согласованность и на сохранение исходной глубины. Результат — плотное облако точек, из которого можно восстановить сцену «как она будет» в любой момент времени.

Насколько это лучше старых 2D-подходов? В эксперименте на реальных видео Chamfer-дистанция между предсказанным и истинным 4D-облаком у TesserAct равна 0,203 против 0,219 у лучшего видеобазового метода CogVideoX; на синтетике разница ещё резче — 0,081 против 0,288 (меньше — лучше). Но главное, что геометрия конвертируется в практическую пользу: обученная поверх 4D-точек обратная динамика (PointNet + MLP) поднимает среднюю успешность на девяти заданиях RLBench до 44–88 % при том, что чистая имитация по изображениям колеблется между 0 и 53 %. Таким образом, добавление измерения глубины превращает «красивые ролики» в инструмент для реального планирования.

Конечно, у модели есть и ограничения. Она описывает только один вид сцены; чтобы получить полноценную карту помещения, придётся генерировать несколько ракурсов и сливать их. Кроме того, алгоритм пока пренебрегает влиянием освещения и материалов и полагается на ограниченный объём данных по сравнению с гигабайтными видеоколлекциями. Но сама структура решения задаёт ясный маршрут развития: многовью-RGB-DN может перерасти в 4D-NeRF или Gaussian-сплайны; слияние с LLM-планировщиками позволит проверять рассуждения языка на физической симуляции; дообучение «на лету» снимет барьер между симуляцией и изменчивой реальностью; а квантизация и distillation сделают модель пригодной для работы на борту мобильных роботов.

TesserAct демонстрирует, что время двумерных «видео будущего» подходит к концу: будущие мировые модели будут по-настоящему объёмно-временными. Стоит ожидать, что уже в ближайшие годы офлайн-обучение сложных навыков будет происходить не в игровых движках, а в таких вот 4D-«воображениях», сводя к минимуму стоимость ошибок на реальных роботах. А значит, очередной шаг к универсальному воплощённому ИИ сделан — теперь он видит мир в четырёх измерениях, почти так же, как и мы.

Савва Блинов | AI-аналитик АО «Инноцифра»

#ИИ_экспертиза