Runway представил ИИ-систему генерации видео на основе мимики пользователя

Американский ИИ-стартап Runway представил инструмент генерации видео на основании мимики человека. Инструмент называется Act-One.

Как сообщили разработчики Act-One в пресс-релизе, предлагаемую ИИ-модель можно применять для создания «эталонных изображений», при этом сохраняется реалистичная мимика, которую нейросеть преобразует в персонажей с пропорциями, отличными от исходного видео.

Продукт Runway — необычная модель искусственного интеллекта: «представляет собой значительный шаг вперёд в использовании генеративных моделей для создания выразительного живого действия и анимационного контента». Кроме того, что система распознаёт лицо человека, может считывать мимику для формирования анимационного образа.

Как сказано в сообщении разработчиков, Act-One позволяет создавать повествовательный контент, используя только камеру «потребительского класса и одного актёра, читающего и исполняющего разных персонажей по сценарию».

Разработчики изучают возможности Act-One по созданию сложных, выразительных сцен с диалогами, которые в прошлом было затруднительно создавать с помощью моделей для генерации видео.

«Модель также демонстрирует кинематографическую и реалистичную производительность и отличается удивительной устойчивостью при различных углах обзора камеры, сохраняя при этом высокую точность анимации лиц. Эта возможность позволяет создателям разрабатывать правдоподобных персонажей, которые передают подлинные эмоции и экспрессию, усиливая связь зрителя с контентом», — сказано в пресс-релизе Runway.