D-ID запустила инструмент перевода видео на основе искусственного интеллекта, который включает в себя воспроизведение голоса и синхронизацию губ.

Платформа для создания видео с использованием искусственного интеллекта поступок D-ID — последняя компания, представившая инструмент для перевода видео на другие языки с использованием методов искусственного интеллекта. Однако в этом случае D-ID также воспроизводит голос говорящего и изменяет движения его губ в соответствии с переведенными словами в рамках процесса редактирования ИИ.

Эта технология основана на предыдущей работе D-ID, которую вы, возможно, помните по вирусной тенденции несколько лет назад, когда пользователи анимировали свои старые семейные фотографии и Позже Эти фотографии умели говорить. Благодаря этому успеху стартап смог закрыть раунд финансирования на сумму 25 миллионов долларов в 2022 году с целью обслуживания растущего числа своих корпоративных клиентов в США, которые используют его технологию для создания видео на основе искусственного интеллекта.

С запуском компании сейчас Видеоперевод с искусственным интеллектом D-ID в настоящее время предлагает подписчикам D-ID бесплатно, где создатели могут автоматически переводить свои видео на другие языки, чтобы помочь им расширить охват. Всего на данный момент доступно 30 языков, включая арабский, китайский, японский, хинди, испанский, французский и другие. Подписка на D-ID начинается с 56 долларов в год за самый дешевый план и наименьшее количество кредитов для использования функций искусственного интеллекта, а затем возрастает до 1293 долларов в год перед переходом на корпоративные цены.

D-ID отмечает, что ее новая видеотехнология на основе искусственного интеллекта может помочь клиентам сэкономить на расходах на перевод при расширении своих кампаний на глобальную аудиторию в таких областях, как маркетинг, развлечения и социальные сети. Эта технология составит конкуренцию другим решениям в области дубляжа и видео на основе искусственного интеллекта.

В течение многих лет технологии дублирования облегчали зрителям видео прослушивание звука на их родном языке, но зачастую они были недоступны для более мелких авторов. Ситуация изменилась, поскольку компании улучшили доступ к технологиям. Например, YouTube выпустил функцию многоязычного аудио, призванную помочь авторам связаться с более широкой аудиторией, переводя свои видео на другие языки. Знаменитый создатель Г. Зверь (Джимми Дональдсон) входит в число первых, кто внедрил эту технологию, чтобы перевести многие из своих популярных видеороликов на 11 других языков.

С искусственным интеллектом также расширяются возможности создавать, переводить или воспроизводить звуки. В этом году Microsoft объявила, что будет использовать искусственный интеллект для перевода YouTube и других видео и дублирования их во время просмотра. В июле была запущена платформа для авторов Vimeo. Это было обнаружено Инструменты, которые не только переводят аудио и субтитры, но и делают это, копируя голос говорящего с помощью методов искусственного интеллекта. Многие компании также предлагают инструменты транскрипции голоса или перевода с помощью искусственного интеллекта (или иногда и то, и другое), в том числе от Descript, ElevenLabs, Speechify, Veed, Camb.ai, Captions.ai и Akool, и это лишь некоторые из них, а также инструменты, которые позволяют Вы создаете видео с аватарами искусственного интеллекта, которые могут говорить на десятках языков, например, на языках Хеджин, Глубокий искусственный интеллект И другие.

Библиотеки искусственного интеллекта для дубляжа и синхронизации губ, такие как wav2lip, также облегчили стартапам создание инструментов такого типа, а также продемонстрировали авторам, что они упрощают и потенциально делают более доступным использование технологии искусственного интеллекта.

D-ID сообщает, что ее новая технология перевода видео будет доступна через D-ID Studio и ее API. Предлагается пробная версия на один месяц, и будут предложены дополнительные возможности. Демо Доступно на его сайте.