Alpamayo 2 Super от NVIDIA — модель, которая формирует решения для роботакси

Новая разработка ориентирована на роботакси и должна работать как единый интеллектуальный слой, который объединяет понимание окружающей среды, планирование движения и выбор действий в реальном времени.

Что представляет собой Alpamayo 2 Super

Alpamayo 2 Super — это vision-language-action модель с 32 миллиардами параметров. Она создана для того, чтобы автономный автомобиль мог не просто «видеть» дорогу, но и интерпретировать происходящее и принимать решения на основе контекста.

Модель обрабатывает визуальные данные, понимает дорожную ситуацию, формирует план поведения и выдает действия, которые могут быть использованы системой управления автомобилем. Это делает ее частью полного цикла автономного вождения, где все этапы объединены в одной архитектуре.

Масштабирование и улучшение понимания 

По сравнению с предыдущими версиями семейства Alpamayo, новая модель значительно увеличена по масштабу. Ранее использовались модели на уровне 10 миллиардов параметров, теперь размер увеличен до 32 миллиардов.

Такое масштабирование направлено на улучшение способности модели работать со сложными дорожными сценариями, лучше понимать пространственные отношения объектов и точнее предсказывать развитие ситуации на дороге. Это особенно важно в условиях плотного городского движения и редких нестандартных ситуаций.

Полное 360-градусное восприятие

Одним из ключевых обновлений стало расширение восприятия окружающей среды до полного кругового обзора. Теперь модель использует данные не только с передних камер, но и с боковых и задних.

Благодаря этому система формирует более целостное представление о дорожной ситуации. Это помогает при перестроениях, пересечениях потоков и любых сценариях, где важно учитывать объекты вне прямого фронтального обзора.

Meta-Actions и переход к высокоуровневым решениям

В Alpamayo 2 Super внедрена концепция Meta-Actions. Это переход от простого прогнозирования траектории движения к высоким уровням принятия решений.

Модель может формировать такие действия, как остановка автомобиля, перестроение в другую полосу или уступка дороги. Это делает поведение системы более структурированным и ближе к человеческой логике вождения, где важны не только координаты движения, но и смысловое решение ситуации.

Ускорение обучения через автоматическую разметку

NVIDIA добавила в систему новые подходы к обучению, которые позволяют значительно ускорить подготовку данных.

Одним из таких механизмов стала reasoning auto-labeling, где модель помогает автоматически формировать разметку, основываясь на логике происходящего в сцене. Также используется 2D grounding, который связывает рассуждения модели с конкретными объектами на изображении.

Благодаря этим подходам процесс подготовки данных и разметки значительно ускоряется.

AlpaGym — обучение через симуляцию

Вместе с моделью NVIDIA представила AlpaGym, систему для обучения в симуляционной среде с замкнутым циклом.

В этой среде модель может тестировать свои действия, наблюдать последствия и корректировать поведение на основе ошибок. Такой подход позволяет обучать систему не только на статических данных, но и на динамическом взаимодействии с виртуальной дорожной средой.

OmniDreams и генерация сложных сценариев

Для расширения обучающих данных используется система OmniDreams. Это генеративная модель, которая создает реалистичные дорожные сценарии, включая редкие и сложные ситуации.

Она позволяет моделировать так называемый длинный хвост сценариев, которые редко встречаются в реальной жизни, но критически важны для безопасности автономных систем. Благодаря этому обучение становится более полным и устойчивым к нестандартным ситуациям.

Physical AI agent skills и инструменты разработки

NVIDIA также расширила набор инструментов для разработчиков автономных систем. В него входят технологии реконструкции реальных данных, генерации синтетических сцен и обучения в замкнутом цикле.

Все эти инструменты объединены в единую экосистему, которая поддерживает разработку физического искусственного интеллекта и позволяет строить более реалистичные модели поведения автономных машин.

Роль модели в экосистеме NVIDIA

Alpamayo 2 Super позиционируется как обучающая модель, которая может использоваться для передачи знаний компактным системам. Она выступает как teacher-model и может быть применена для дистилляции в автомобильные вычислительные платформы.

Модель будет доступна летом в виде открытого кода инференса на GitHub и весов на Hugging Face, что делает ее частью открытой экосистемы разработки автономного транспорта.