Оказалось, что ИИ-помощники не решают проблемы программистов

Удивительно, но, несмотря на ключевые метрики, такие как время цикла пулл-запросов и общая производительность, Uplevel не обнаружил значительных улучшений у пользователей Copilot. Матт Хоффман, аналитик данных в Uplevel, отметил в интервью изданию CIO, что их команда изначально предполагала, что разработчики смогут писать больше кода, а количество ошибок может уменьшиться благодаря использованию ИИ-инструментов для проверки кода перед его отправкой. Однако результаты опровергли эти ожидания.

На самом деле, исследование показало, что разработчики, использующие Copilot, внесли на 41% больше ошибок в свой код. Uplevel также не нашел доказательств того, что ИИ-помощник помогал предотвратить выгорание разработчиков.

Эти выводы противоречат утверждениям создателей Copilot из GitHub и других сторонников ИИ-инструментов для программирования о значительном росте продуктивности. Ранее спонсируемое GitHub исследование утверждало, что разработчики пишут код на 55% быстрее с помощью Copilot.

В отчётах о первых днях работы Copilot говорилось, что почти 30% нового кода создавалось с помощью ИИ — и это число, вероятно, выросло. Однако дело не только в полезности инструмента: программисты просто ленятся. Сейчас ChatGPT и другие продвинутые модели по-прежнему делают ошибки в примерно четверти своих ответов на запросы разработчиков ПО.

Опыт работы с ИИ-помощниками по программированию оказался разным. Например, CEO компании Gehtsoft USA Иван Гехт сообщил, что в их компании сгенерированный ИИ код считают трудным для понимания и отладки, и иногда проще переписать его с нуля. Он добавил, что разработка программного обеспечения — это на 90% работа мозга: понимание требований, проектирование системы и учёт ограничений, в то время как преобразование всего этого в код — самая простая часть работы.

Однако в облачной компании Innovative Solutions CTO Трэвис Рехл https://www.techspot.com/news/104945-ai-coding-assistants-do... о впечатляющих результатах, заявив, что продуктивность разработчиков увеличилась до 3 раз благодаря таким инструментам, как Claude Dev и Copilot.

Несмотря на противоречивые отзывы, эксперты считают, что индустрия находится на начальном этапе использования ИИ-помощников в программировании. С учетом быстрого развития этих технологий, возможно, в будущем они смогут оправдать свои ожидания и обеспечить реальную помощь разработчикам.