Новая версия VLA от Xpeng выйдет в сентябре: 30 секунд в прошлое, 6 секунд в будущее — вождение «в потоке времени»

В фильме «Доктор Стрэндж» главный герой с помощью Глаза Агамотто может заставить время течь вперед или назад, а в «Мстителях: Война бесконечности» он заранее видит множество возможных вариантов будущего перед битвой с Таносом.

Это кинематографическая магия, но Xpeng предлагает подобное в реальности.

27 августа Xpeng провел презентацию, посвященную физическому ИИ, на которой также продемонстрировал новую версию системы VLA второго поколения. Главным ключевым словом этого мероприятия стало «время». Xpeng добавил в автомобильную модель свой «Глаз Агамотто»: прокручивая назад, система может вспоминать мир за последние 30 секунд, а прокручивая вперед — предсказывать, что произойдет в ближайшие 6 секунд.

У автомобилей нет Камня Времени, но есть поддержка больших языковых моделей. Модель вычисляет несколько наиболее вероятных последующих состояний на основе информации, накопленной за прошедший период, а затем выбирает действие для текущего момента. Для интеллектуального вождения наличие «памяти о временной линии» позволяет выполнять более человекоподобные операции.

Управляя автомобилем, человек никогда не смотрит лишь на текущий кадр. Вы оцениваете дорожную обстановку позади на основе памяти о последних секундах, а также предсказываете появление мопедов через несколько секунд, ориентируясь на замедление идущей впереди машины и примыкающие сбоку повороты. В некотором смысле вождение происходит не только на дороге, но и во времени.

Новейшая версия 6.3.0 системы VLA второго поколения от Xpeng представляет собой модель, которая управляет автомобилем в потоке времени.

Новая VLA начнет распространяться в сентябре на все модели Ultra и Ultra SE, первыми ее получат Xpeng G9L Ultra и Ultra SE. Модели Max с одним чипом Turing в сентябре также получат дистиллированную версию VLA Lite второго поколения.

В вождении нет ответа для одного кадра

Основная идея новой VLA от Xpeng заключается в том, чтобы связать прошлое, настоящее и будущее воедино.

Infini-VLA отвечает за запоминание прошлого. Ее базовая архитектура поддерживает более длинные временные последовательности. Учитывая задачи вождения и объем вычислений на стороне устройства, Xpeng установил объем исторической памяти в серийной версии на 30 секунд.

Это означает, что система может запоминать дорожные условия за прошедшие 30 секунд и учитывать их в текущих решениях.

На презентации Xpeng показал демонстрационное видео: когда машина впереди разворачивалась посреди дороги, позади нее на мгновение образовалось пространство, достаточное для проезда. Тестовый автомобиль не ускорился немедленно, а, учитывая предыдущий процесс движения, дождался завершения разворота другой машины и только потом поехал вперед. Модель понимает «машина впереди разворачивается» как непрерывное действие, а не просто воспринимает кадр «впереди появилось пространство».

Это похоже на кратковременную память человека при разговоре: люди не забывают предыдущую фразу, услышав новую, так же как водитель не забывает о том, что машина впереди готовилась к развороту, просто потому, что в данный момент она перегородила дорогу.

Если Infini-VLA позволяет автомобилю не забывать контекст, то «потоковый авторегрессионный вывод» (Streaming Inference) отвечает за сокращение времени, необходимого автомобилю для понимания настоящего. По объяснению Xpeng, модель может одновременно получать входные данные, проводить логический вывод и выдавать траекторию, не дожидаясь полного осмысления истории. По данным Xpeng, этот потоковый вывод ускоряет процесс принятия решений на 300%.

Аналогично, это напоминает то, как человек ведет машину: глаза смотрят на дорогу, мозг оценивает ситуацию, а руки и ноги управляют автомобилем одновременно. При внезапном появлении объекта из-за препятствия такая параллельная обработка позволяет избежать паузы, необходимой для завершения логического вывода.

Помня прошлое и сосредотачиваясь на настоящем, естественно, нужно смотреть и в будущее. Поэтому модуль X-Foresight в новой версии VLA на основе исторических состояний прогнозирует развитие ситуации на 6 секунд вперед, а технология Flow Matching аппроксимирует распределение множества возможных траекторий, помогая модели выбрать наиболее подходящее действие.

Терминология может показаться сложной, но результат вполне очевиден: новая версия VLA путем постоянного наблюдения за текущей дорожной обстановкой предсказывает еще не случившиеся, но вероятные ситуации и принимает решения о дальнейших действиях. По сути, «защитное вождение», о котором часто говорят опытные водители в реальной жизни, базируется на том же принципе предвидения.

В показанном видео встречный белый автомобиль выехал на встречную полосу. Тестовому автомобилю нужно было определить, собирается ли встречная машина остановиться, продолжить движение вперед или уступить часть пространства, а затем просчитать, не перекроет ли его продвижение вперед путь для обеих машин. Увидеть, где находится другой автомобиль — это лишь первый шаг.

Понять, что он собирается делать, позволяет решить, каким будет следующий маневр.

Память о прошлом и прогнозирование будущего в конечном итоге служат каждому ускорению, замедлению и повороту, позволяя версии VLA второго поколения 6.3.0 «течь во времени».

Выход в реальный мир

На архитектурной диаграмме много терминов, но на практике VLA приходится сталкиваться с различными проблемами на реальных дорогах. Ответ Xpeng — использование более крупной модели: в этот раз компания увеличила объем параметров модели в 3,5 раза.

В одном из показанных видео тестовый автомобиль прибыл к паромной переправе. На переправе нет четкой разметки, и пристань не является обычной дорогой, однако благодаря собственным размышлениям модели автомобиль самостоятельно нашел въезд, заехал на паром и остановился за впереди стоящей машиной, а после швартовки парома выехал вместе с потоком транспорта.

Другое видео было снято на узкой горной дороге. После крутого поворота впереди на дороге появилось свисающую ветку. Автомобиль не воспринял ее как обычное дорожное препятствие и не остановился на месте, а также не поехал напрямую в кажущийся свободным промежуток.

Вместо этого он активно снизил скорость, наблюдая за взаимным расположением ветки и кузова, и искал пространство, достаточное для безопасного проезда.

Стоит отметить, что несколько дней назад Tesla, работающая на системе FSD v14.3.7, в жилом комплексе в США проехала со второго этажа на шестой и попыталась продолжить движение в сторону металлической сетки на верхнем этаже.

К счастью, владелец взял управление на себя вблизи сетки, и машина не упала. В подобных крайних сценариях (corner case) Xpeng VLA и FSD приняли разные решения: модель должна не только видеть пространство, но и понимать, является ли оно дорогой.

Паромы и ветки относятся к редко встречающимся сценариям, и именно это является причиной, по которой Xpeng настаивает на увеличении размера модели. Система, полагающаяся на жесткие правила, может быть настроена на пристани, стада овец, ливни или каждый новый...