ИИ научили описывать окружающий мир для людей с нарушениями зрения

Ученые из Университета Мичигана представили программное обеспечение (ПО) WorldScribe, которое может изменить жизнь людей с нарушениями зрения. Это решение, основанное на генеративном ИИ, создает текстовые и аудиоописания объектов, попадающих в кадр камеры, в реальном времени.

WorldScribe адаптируется к командам пользователя, изменяя уровень детализации описаний в зависимости от времени, проведенного объектом в кадре. Кроме того, система автоматически регулирует громкость в шумных условиях, например, в переполненных помещениях или на улице.

Исследователи отметили, что этот инструмент может значительно упростить восприятие окружающего мира для слабовидящих. Участники испытаний, включая людей, которые родились слепыми, подтвердили, что такая технология может существенно снизить умственные затраты на понимание визуальной информации.

Ученые уже подали заявку на патент и ищут партнеров для доработки технологии и ее внедрения на рынок. Это приложение обещает стать важным шагом к улучшению доступности для людей с ограниченными возможностями.