Самые большие ошибки компаний: «Яндекс», «Альфа-Банк» и «Росатом» поделились главными проблемами с ИИ
Андрей Себрант, директор по стратегическому маркетингу сервисов «Яндекса» и модератор сессии начал конференцию, отметив, как важно делиться не только достижениями, но и «шишками», полученными на этом пути. Это помогает сообществу специалистов учиться на чужих ошибках, избегать повторения сложностей и двигаться вперед быстрее и эффективнее.
Вот о каких проблемах при внедрении ИИ не побоялись рассказать участники сессии.
80% гипотез — ошибочные: опыт «Альфа-Банка»
В последние три года «Альфа-Банк» активно развивает направление продвинутой аналитики и искусственного интеллекта, закрыв свой первый стратегический цикл. Этот этап позволил внедрить модели машинного обучения во все ключевые бизнес-процессы: от кредитования до поддержки продаж. Теперь банк готовится ко второму циклу, с новыми задачами в области генеративного ИИ и сложных аналитических решений.
Главное в этом процессе — прагматичная инновация, рассказал Дмитрий Рузанов, руководитель продвинутой аналитики юридических лиц «Альфа-Банка». Каждый шаг в цифровизации проходит строгую проверку на финансовый эффект. Модели внедряются только после того, как докажут свою эффективность, и это ключевое условие для дальнейшего роста в области ИИ.
Однако путь цифровой трансформации не обходится без ошибок. Дмитрий Рузанов подчеркивает, что в продвинутой аналитике значительную часть времени приходится учиться на неудачах. Из десяти гипотез только 20–30% оказываются успешными. Три года назад, создавая централизованную функцию Data Science, банк столкнулся с рядом проблем. Одной из них стало недостаточное взаимодействие с ключевыми бизнес-заказчиками. Несмотря на предварительные переговоры, на одном из комитетов неожиданно возникли вопросы от крупного бизнес-направления, с которым не успели обсудить детали. Но, несмотря на это, функция была успешно создана, и банк достиг своих целей.
Главный урок, который вынес «Альфа-Банк» из этой ситуации, заключается в необходимости полной синхронизации всех стратегий — будь то развитие розничного бизнеса, малого бизнеса или искусственного интеллекта. Только заручившись поддержкой всех ключевых бенефициаров, можно добиться успеха в масштабной цифровой трансформации.
Таким образом, для организаций важно учесть опыт «Альфа-Банка»: ИИ-стратегия должна быть неотъемлемой частью общей бизнес-стратегии, иначе ошибки неизбежны.
Сделать все самим — не лучшая идея: опыт «Дом.РФ Технологии»
Александр Лукьянов из группы компаний «Дом.РФ», поделился опытом внедрения ИИ в строительную и жилищно-коммунальную отрасль. Компания начала экспериментировать с ИИ с ноября 2022 года, вдохновившись появлением ChatGPT. Однако, как отметил Лукьянов, на старте было допущено несколько ошибок, главная из которых — попытка делать все и сразу. Вместо концентрации на ключевых задачах компания бросилась на создание множества продуктов, ассистентов и инструментов, что привело к не самым удачным результатам.
Одной из первых ошибок стало решение создать собственный аналог ChatGPT. «ДомРФ» загрузил в свою модель материалы по строительству, но система оказалась недостаточно мощной — с 20 млн параметров против 170 млрд у оригинала. Это привело к тому, что модель не смогла выдавать связный текст. Поняв свои ограничения, компания решила использовать готовые решения «Яндекса» и «Сбера».
Александр Лукьянов также рассказал о попытках создать инструменты для генерации изображений, чтобы не использовать стоковые картинки для пресс-релизов. Однако этот эксперимент также не дал ожидаемых результатов, и «Дом.РФ» продолжает использовать сторонние ресурсы для изображений.
Среди других инициатив была разработка ассистента Дианы, который, хоть и стал полезным инструментом, изначально был очень проблемным. Один из удачных элементов — перевод текстов с госформата на человеческий язык. Эта функция активно используется сотрудниками, особенно для обработки большого объема информации на «канцелярите».
Спикер также упомянул неудачный опыт внедрения ИИ для подбора кадров. Модель, разработанная для помощи HR-отделу, демонстрировала гендерные предубеждения, предлагая исключительно кандидатов-мужчин на ИТ-должности. Проблему удалось решить, убрав гендерный признак из модели и сделав другие корректировки, но этот случай показал необходимость внимательного контроля ИИ.
Еще одна ошибка заключалась в отсутствии понимания, как ИИ может быть полезен для бизнеса. «Дом.РФ» попытался обучить сотрудников основам ИИ, создав внутренний образовательный курс. Хотя он оказался качественным и хорошо воспринятым, его вывод на рынок провалился. Его просто не захотели проходить.
Основной вывод Андрея Лукьянова: компании не стоит гнаться за хайпом и пытаться решить все задачи самостоятельно. Важно полагаться на проверенные решения рынка и интегрировать их в свои процессы.
«А зачем мы это сделали вообще»: опыт компании «Росатома» ТВЭЛ
Евгений Гаранин, вице-президент по цифровизации и информационным технологиям топливной компании «Росатома» ТВЭЛ, рассказал об уникальных аспектах их работы и внедрении цифровых технологий. «Росатом» — монопольный поставщик топлива для атомных электростанций в России и занимает 30% мирового рынка топлива для АЭС. Также компания строит гигафабрики по производству литий-ионных батарей, стремясь обеспечить российский электроспорт и транспорт собственными аккумуляторами.
Евгений Гаранин отметил, что компания начала использовать технологии искусственного интеллекта с 2018 года, когда это еще было хайповым трендом. Они начали с корпоративных процессов, поскольку факапы в производственных процессах атомной отрасли недопустимы. Первым проектом стала автоматизация закупок, где они обнаружили множество проблем и возможностей для улучшения.
Он подчеркнул, что «Росатом» столкнулся с масштабным кадровым вызовом: к 2030 году топливной компании нужно будет нанять 28 тысяч человек, а всему «Росатому» — 437 тысяч. Особенно сложно привлекать молодежь в закрытые города, где находятся атомные объекты, из-за конкуренции с другими отраслями и ограниченных возможностей. Поэтому цифровизация, включая ИИ, для них — не просто тренд, а необходимость для высвобождения людей от рутинных задач и перевода их на интеллектуальный труд. Цель — создать автоматизированные и безлюдные производства, такие как dark factory.
Гаранин привел пример с автоматизацией складов. Когда он пришел в компанию, ему сказали, что это невозможно из-за сложности операций, однако спустя время необходимость в автоматических складах стала очевидной, поскольку найти кладовщиков оказалось непросто.
Основное внимание в цифровизации уделено процессу закупок, который был выбран для автоматизации из-за его бюрократической сложности. Это позволило избежать ошибок, которые могли бы привести к серьезным последствиям.
Евгений Гаранин также раскрыл детали внедрения ИИ в процессы «Росатома». Одной из первых областей, куда интегрировали ИИ, стала проверка технических заданий (ТЗ) и обработка технико-коммерческих предложений (ТКП) в рамках закупок по законам 44-ФЗ и 223-ФЗ. Однако их ожидания относительно накопленных данных оказались слишком оптимистичными — система изначально показывала точность распознавания около 67%, что было недостаточно для реальных задач, так как ошибки в ТКП могли привести к серьезным последствиям, включая уголовную ответственность.
Кроме того, одной из проблем оказалась разнородность данных: предложения поступали в разных форматах, от современных цифровых до факсовых копий с пятнами кофе. Это требовало обучения модели на качественно разнообразных данных. В итоге чтобы повысить точность до 97%, компании пришлось генерировать собственные документы для обучения ИИ.
Евгений Гаранин также отметил, что подходы к реализации ИТ-проектов, особенно с использованием ИИ, отличаются от традиционных моделей вроде Waterfall и Agile. В работе с ИИ важно учитывать этапы обучения модели, которые могут никогда не завершиться, что ломает классические подходы и требует пересмотра ожиданий и взаимодействий с заказчиками.
Особое внимание он уделил проблеме управления ожиданиями заказчиков, многие из которых надеются на «волшебную красную кнопку», которая мгновенно решит все проблемы. Однако на практике это далеко не так. Одной из ключевых ошибок было отсутствие четкой фиксации требований на этапе начала проекта: не были прописаны KPI, объемы данных и конкретные функции, что в итоге привело к сложностям и риску банкротства подрядчика.
Гаранин также поделился опытом работы с GPT-моделями. Они использовали GPT для помощи в понимании многочисленных регламентов и стандартов компании, однако столкнулись с проблемой ложных срабатываний и ошибок в ответах. В результате было принято решение интегрировать RAG (Retrieval-Augmented Generation) — подход, который использует GPT в связке с нормативными документами для выдачи более точных ответов. В настоящее время эта система проходит тестирование и готовится к выходу в промышленную эксплуатацию.
Интересным моментом стало упоминание того, что «Яндекс» отказался предоставить свой движок для компании, считая «Росатом» недостаточно крупным клиентом, тогда как «Сбер» с готовностью начал сотрудничество.
Также Евгений Гаранин упомянул, что компания ABBYY, известная своими разработками в области распознавания текста, покинула Россию, уволив российских программистов и заменив их индийскими. Однако до их ухода основатель ABBYY Давид Янг предложил интересное решение для предсказания эмоционального выгорания сотрудников на основе их цифрового следа. Хотя эта технология стала недоступной, команда Гаранина недавно начала разрабатывать собственную модель, которая может предсказывать вероятность увольнения сотрудников по их цифровому следу с точностью до 95%.
Они проверили модель на данных за прошлые периоды и смогли предсказать более 80% увольнений. Однако, столкнувшись с вопросами HR-отдела, как использовать эти данные, возникла дилемма: сообщать ли руководителю, что его сотрудник собирается уволиться, и как работать с самим сотрудником в этой ситуации. Это привело к осознанию того, что внедрение ИИ-технологий изменяет организационные модели и функционал, но важно, чтобы рутина была исключена, а люди фокусировались на управлении персоналом и их мотивацией.
Гаранин также рассказал о проекте с использованием ИИ на производстве. Они разработали платформу AtomMind, которая занимается предиктивным анализом и прогнозированием качества продукции и состояния оборудования. Однако один из ключевых уроков, который они извлекли, состоит в том, что большое количество данных не всегда полезно. Например, на производстве урановых таблеток фиксировались всевозможные данные, но не регистрировались моменты выхода из строя оборудования, что осложняло анализ. В промышленности важно четко планировать, какие данные нужно накапливать и как их использовать, ведь хранение и обработка больших объемов информации обходятся дорого.
Еще один важный урок заключается в том, что для успешной реализации технологических проектов необходимо глубокое понимание технологических процессов. Инженеры и технологи начинают мигрировать в проекты по обработке данных, становясь полноценными дата-сайентистами. Это позволяет использовать их знания для улучшения производства через рекомендательные системы, которые помогают принимать решения более эффективно.
Евгений Гаранин также поделился успехами пилотного проекта по предсказанию качества продукции. Модель позволила снизить количество брака в два раза и доказать свою эффективность в сравнении с ручным управлением процессом. Для этого был проведен эксперимент: один производственный станок работал по рекомендациям системы, другой — под управлением технолога. Система показала лучшие результаты, что подтвердило эффективность предиктивных моделей.
В завершение Евгений Гаранин подчеркнул важность тщательного планирования на начальных этапах проектов и дал совет мечтать о чем-то большем, ведь это помогает достигать успехов в реализации ИИ-проектов.
ИИ не видит проект целиком: опыт «Таттелеком»
Айрат Нурутдинов, генеральный директор «Таттелеком», поднял вопрос о текущих возможностях систем искусственного интеллекта в контексте разработки программного обеспечения.
Он отметил, что современные инструменты, такие как интегрированные подсказки для кодирования, удобны, но имеют свои ограничения. В частности контекстное окно, которое они используют, слишком короткое. Это значит, что такие системы, как ИИ-кодеры, способны анализировать лишь небольшую часть кода и не могут полноценно понять задачу разработчика. Он сравнил их со справочной системой, которая предлагает готовые фрагменты кода, но не видит общей картины проекта.
Айрат Нурутдинов подчеркнул, что хотя системы подсказок работают эффективно и большинство разработчиков используют их в автоматическом режиме, они не решают более сложные задачи, требующие понимания всего проекта. Он упомянул идею использования агентов, которые могли бы проходить через весь проект и лучше интегрироваться с кодом, но такие технологии еще находятся на этапе разработки.
Не стоит доверять хорошим результатам: опыт «Яндекса»
Александр Крайнов, директор по развитию технологий искусственного интеллекта в «Яндексе», рассказал об опыте создания технологии Super Resolution для повышения разрешения видео на платформе «Яндекс Эфир». Эта технология уже использовалась для увеличения разрешения изображений, и разработчики решили перенести ее на видео, поскольку оно состоит из множества кадров, схожих с изображениями.
Однако они столкнулись с неожиданной проблемой: пользователи не заметили улучшения качества видео. Более того, лишь около 30% респондентов могли различить разницу между видео низкого и высокого разрешения. Некоторым пользователям даже показалось, что улучшилось качество звука, хотя в тестовом видео звука не было вовсе.
Затем команда начала решать проблему дороговизны вычислений, связанных с обработкой видео в реальном времени. Для этого обратились к альтернативным аппаратным решениям и сотрудничали с Intel и Altera, чтобы реализовать технологию на FPGA-устройствах, предоставленных для тестирования бесплатно.
Несмотря на технические успехи, главный показатель стриминговых сервисов — время просмотра — вырос на 10%, но это объяснялось тем, что видео в высоком разрешении дольше загружалось у пользователей с медленным интернетом, что увеличивало общее время воспроизведения.
В конечном итоге проект Super Resolution для видео закрыли, так как он не улучшил пользовательский опыт. Однако команда извлекла важный урок: неожиданные хорошие результаты всегда требуют дополнительной проверки, а при работе с нестандартным оборудованием необходимо четко оценивать его производительность на типовых архитектурах, чтобы избежать лишних затрат и рисков.
Сложно договориться с моделями: опыт компании Directum
Илья Ветхов, один из зрителей панельной сессии и представляющий компанию Directum, поделился опытом работы с open-source-моделями в контексте ошибок. В прошлом году они начали разрабатывать решение с применением генеративного искусственного интеллекта, ориентируясь на крупные предприятия, которые оказались не готовы к облачным решениям. Поэтому команда обратила внимание на open-source-модели, такие как «Сайга-Мистраль» и Llama.
Илья отметил, что значительная часть времени ушла на промпт-инжиниринг — несколько месяцев они пытались «договориться» с моделями, чтобы те правильно понимали запросы. Один из курьезных моментов произошел с моделью «Сайга»: в одном из результатов Винни-Пух убил Пятачка. Также он упомянул, что один из аналитиков через две недели отказался продолжать работу, потому что у модели не получалось избавиться от формального обращения «уважаемый», несмотря на его прямые просьбы.
Еще один случай вызвал радость у команды, когда другой аналитик наконец-то смог добиться того, чтобы модель Llama сгенерировала корректный текст служебной записки. Для зарубежных моделей это было непросто, так как они не знают, что такое служебные записки, и вместо этого пытались генерировать что-то непонятное. Этот успех стал результатом долгих недель работы, и аналитик даже отпраздновал его громким «Ура!».
Что в итоге?
Ошибки при внедрении ИИ неизбежны, но именно они становятся ценным уроком для дальнейшего развития технологий. Опыт, которым поделились участники форума, показывает, что промахи — это не препятствия, а важные шаги к успешным решениям. Учиться на чужих ошибках позволяет быстрее и эффективнее двигаться вперед. Обсуждение не только побед, но и сложностей помогает ИТ-сообществу совершенствовать свои подходы и избегать повторения тех же проблем в будущем, ускоряя внедрение инноваций в сфере ИИ.
Читать далее:
Google меняет работу Gmail: кого затронут изменения
Формирование молекул воды впервые наблюдали в наномасштабе
«Хаббл» увидел, как поток плазмы из черной дыры «взрывает» звезды на своем пути
The post Самые большие ошибки компаний: «Яндекс», «Альфа-Банк» и «Росатом» поделились главными проблемами с ИИ appeared first on Хайтек.