Искусственный интеллект обучился переводить язык жестов

Местные органы власти в Японии обращаются к искусственному интеллекту, чтобы улучшить общение с глухими или слабослышащими людьми. Система «Sure Talk», разработанная Токийским университетом электросвязи и SoftBank Corp., преобразует жесты (на языке жестов) в письменный текст. В настоящее время для системы требуется специальное оборудование (видеокамера и ПК), но разработчики сообщили, что в конечном итоге ее можно будет использовать на любом смартфоне.

В городском офисе Нарасино в префектуре Тиба, недалеко от Токио, женщина с нарушением слуха спросила, как пройти в туалет, используя язык жестов, стоя перед камерой. Текстовый перевод появился на экране компьютера сотрудника примерно через три секунды. Затем голосовой ответ появился в виде текста на экране перед женщиной, что обеспечило удобное двустороннее общение. «Sure Talk» система искусственного интеллекта, которая переводит знак в текст (пока только на японский язык), использует технологию распознавания изображений, которая анализирует движения рук собеседника в нескольких областях тела, таких как пальцы и руки. Для разработки данной системы ученым пришлось оцифровать несколько сотен людей, общающихся на языке жестов.

Хотя разговор с глухими или слабослышащими людьми можно вести в письменной форме, система искусственного интеллекта «намного плавнее, поскольку перевод происходит в режиме реального времени».

В «Sure Talk» еще есть над чем поработать. В настоящее время он может точно переводить жесты только примерно на 1500 японских слов. «Огромный объем данных о языке жестов необходим для построения модели для точного перевода знаков в японский текст», сказал инженер SoftBank, участвовавший в разработке системы. Таким образом, для повышения точности системы компания мобильной связи и интернет-услуг сочла необходимым запустить веб-сайт и приложение для смартфонов с просьбой о сотрудничестве со стороны общественности, призывая как можно больше людей присылать изображения на языке жестов.