Энтузиасты воссоздали игру Doom с помощью нейросетей

Буквально заставили ИИ генерировать с нуля уровни, врагов, бонусы и многое другое. Да еще и в реальном времени, со счетчиком патронов и частотой кадров на уровне оригинальной игры из 1993 года.

Сотрудники Google Research представили уникальный игровой движок GameNGen на основе искусственного интеллекта, который может генерировать оригинальный геймплей Doom. Система обрабатывает предыдущие кадры и текущие данные пользователя, а после создает новые изображения с удивительной визуальной точностью и связностью. В остальном процесс идентичен известному шутеру: можно поворачивать, стрелять, наносить точный урон врагам и т. д. Причем, уровни будут строиться в реальном времени, а 20 FPS и правда навевают ностальгию.

Как все работает

Чтобы получить данные, из которых GameNGen позже смоделирует игру, пришлось обучать свой собственный искусственный интеллект. По сути, алгоритм буквально посадили проходить Doom на всех возможных сложностях и с разным уровнем мастерства игроков. При этом любые сборы бонусов, завершения уровня или убийства вознаграждались, а смерть или урон наоборот. Таким образом получились модели, способные наигрывать сотни часов визуальных данных.

Следующим шагом стало сохранение связи между кадрами при использовании распространенной нейросети Stable Diffusion. Проблемы тут было две. Во-первых, модель плохо сохраняет идею от изображения к изображению — с каждым разом все больше отходит от оригинального запроса. А во-вторых, снижается и визуальная достоверность. Что уж говорить об эффекте мерцания на последовательных кадрах: тени буквально прыгают по лицам и декорациям.