Ученые обучили нейросеть переводить текст на язык жестов

Ученые в своем исследовании использовали новый алгоритм, приближенный к искусственному интеллекту, который смог перевести текстовую часть на язык жестов. Результаты эксперимента были опубликованы на портале arXiv.org.

Отмечается, что нейросеть, разработанная учеными из Великобритании, способна проверять итоги своей работы после отрисовки ролика. Благодаря этому повышается качество выполненного перевода. По словам специалистов, главная особенность этого алгоритма заключается в более качественном синтезе кистей, которые необходимы, чтобы корректно передать информацию на языке жестов.

ИИ принимает данные в виде текста и создает скелетную модель тела, которая используется для передачи текста в виде жестов, — заявили эксперты.

Алгоритм OpenPose помогал нейросети размечать полученные результаты. Кроме того, ИИ может сравнивать свою работу с аналогичной, выполненной человеком, и в дальнейшем совершенствовать свои результаты. По мнению разработчиков, тут речь идет о самом качественном в мире сурдопереводчике в лице искусственного интеллекта.