Сбер на AI Journey представил мультимодальный медицинский диагностический ассистент

Решение работает на базе нейросетевой модели Сбера GigaChat. Медицинский диагностический ассистент GigaDoc презентовали на международной конференции AI Journey («Путешествие в мир искусственного интеллекта»). Новый сервис разработан Центром индустрии здоровья Сбербанка и учёными Лаборатории искусственного интеллекта Сбера. GigaDoc работает на базе нейросетевой модели GigaChat и специализированных медицинских моделях. Его можно будет интегрировать в любое устройство (смартфон или ноутбук) и использовать для мониторинга здоровья человека. Участники AI Journey смогли на себе проверить возможности медицинского ассистента на базе искусственного интеллекта: для этого достаточно было просто подойти к экрану с камерой. GigaDoc распознаёт ключевые биомаркеры человека: пол, возраст, пульс, индекс массы тела, эмоциональное состояние, риск диабета второго типа, вариабельность сердечного ритма, уровень холестерина и так далее. А также способен предлагать гипотезы о диагнозах на основе предоставленных фотографий. В основе работы ассистента лежат такие технологии, как компьютерное зрение, машинное обучение и дистанционная фотоплетизмография (анализ изменения цвета кожи, который связан с кровотоком и предназначен для измерения частоты сердечных сокращений, дыхания и насыщения крови кислородом). Мультимодальный ассистент GigaDoc в будущем поможет медицинским работникам ускорить первичный скрининг пациентов, определять приоритет оказания медпомощи в зависимости от тяжести заболевания (триаж), отслеживать динамику состояния здоровья больных и проводить качественный мониторинг хронических неинфекционных заболеваний. Умный GigaDoc можно будет использовать в широком спектре ситуаций. Например, он может стать личным AI-ассистентом врача и помогать ему более точно понимать пациента, собирать анамнез состояния здоровья, а также давать индивидуальные рекомендации. Особенно ценной такая технология может стать во время телемедицинских консультаций. Также GigaDoc можно применять для проведения предрейсовых и производственных осмотров и в работе страховых компаний, чтобы оценивать потенциальные риски здоровья застрахованных.