Новый симулятор ускоряет обучение роботов в 430 000 раз

Платформа Genesis выполняет физические расчёты до 80 раз быстрее аналогов, например, Nvidia Isaac Gym. В процессе задействованы графические процессоры, похожие на те, что используются для видеоигр. Благодаря этому платформа способна одновременно запускать до 100 000 симуляций. Это важно для обучения нейронных сетей, предназначенных для управления роботами в реальном мире.

Разработчики также представили технологию генерации «4D-динамических миров». Вероятно, термин «4D» обозначает моделирование 3D-пространства с течением времени, то есть в динамике. Модели «зрение-язык» (VLM) используются для создания виртуальных сред по текстовым описаниям (аналогичным промптам в других ИИ-системах), применяя API собственной инфраструктуры Genesis. Сгенерированные ИИ-миры обладают реалистичной физикой, движениями камеры и поведением объектов, задаваемыми текстовыми командами. Система генерирует физически корректные видео с трассировкой лучей и данные для обучения роботов.

Традиционно симуляторы требуют огромных усилий от художников: 3D-модели, текстуры, компоновка сцен. Но каждый компонент в этом процессе можно автоматизировать. Новая технология, основанная на текстовых запросах, позволяет создавать сложные среды для тестирования роботов, вводя команды на естественном языке вместо ручного программирования.

С движком Genesis можно генерировать движения персонажей, интерактивные 3D-сцены, анимацию лиц и другие элементы, что полезно как для создания художественных ресурсов, так и для разработки более реалистичных ИИ-игр и видео. В отличие от моделей диффузии, оперирующих статистикой пикселей, Genesis конструирует смоделированный мир непосредственно в данных.

Genesis появляется в тот момент, когда исследователи в области робототехники ищут более совершенные инструменты для тестирования и тренировки роботов в виртуальных средах перед их развертыванием в реальном мире. Быстрое и точное моделирование помогает роботам быстрее осваивать сложные задачи, сокращая при этом потребность в дорогих физических испытаниях. Генеративная система пока не входит в доступный на GitHub код, но команда планирует выпустить её в будущем.

Платформа выделяется среди других симуляторов 3D-мира для роботизированного обучения тем, что использует Python как для интерфейса, так и для физического движка. В отличие от других движков, использующих C++ или CUDA с Python API в качестве оболочки, Genesis изначально построен на Python. Благодаря открытости платформы высокоскоростное моделирование для обучения роботов доступно любому исследователю бесплатно, с помощью простых Python-команд на стандартном оборудовании.