Используемая в больницах модель OpenAI оказалась подвержена галлюцинациям

Генеративные модели искусственного интеллекта склонны к генерации некорректной информации. Удивительно, но эта проблема затронула и область автоматической транскрипции, где модель должна точно воспроизводить аудиозапись. По данным Associated Press, инженеры-программисты, разработчики и ученые серьезно обеспокоены расшифровками Whisper от OpenAI.

Исследователь из Мичиганского университета обнаружил галлюцинации в восьми из десяти аудиозаписей. Инженер по машинному обучению, изучивший более 100 часов транскрипций Whisper, нашел ошибки более чем в половине из них. А разработчик сообщил, что обнаружил вымышленные сведения почти во всех 26 000 транскрипциях, созданных им с помощью Whisper.

Ученые из Корнельского университета, Университета Вашингтона и других учреждений обнаружили, что Whisper «галлюцинирует» примерно в 1% случаев, придумывая целые предложения во время пауз в записях. Исследователи отмечают, что паузы особенно часто встречаются при речи людей с афазией. Иногда выдуманные ИИ фразы содержат агрессию и расизм, а иногда — бессмыслицу.

Галлюцинации включали вымышленные медицинские термины или фразы, которые можно было бы ожидать от видео на YouTube, например, «Спасибо за просмотр!». Сообщается, что OpenAI использовала для расшифровки более 1 млн часов видео на YouTube для обучения GPT-4.

Все это создает серьезные риски, поскольку Whisper применяется в медицинских учреждениях. Так, Whisper используется компанией Nabla в качестве инструмента медицинской транскрипции. По ее оценкам, модель расшифровала 7 млн разговоров с врачами. Более 30 000 докторов и 40 систем здравоохранения используют ИИ-инструмент. Сообщается, что Nabla знает о галлюцинациях Whisper и «решает эту проблему».

Представитель OpenAI заявил, что компания постоянно совершенствует свои модели, уделяя особое внимание снижению частоты появления некорректных результатов. Вместе с тем, компания подчеркивает, что использование модели Whisper в областях, где ошибки могут привести к серьезным последствиям, не рекомендуется. «Мы благодарим исследователей за то, что они поделились своими открытиями», — заявили в OpenAI.