ИИ-бот Cursor выдумал пункт пользовательского соглашения, вызвав волну критики

Компания Cursor, разработчик популярного редактора кода с искусственным интеллектом, оказалась в центре скандала из-за ошибки своего ИИ-бота поддержки. В понедельник программист пожаловался, что переключение между устройствами приводит к автоматическому выходу из аккаунта, нарушая привычный рабочий процесс. В ответ бот по имени «Сэм» сообщил, что это «ожидаемое поведение» согласно новой политике, ограничивающей использование на одном устройстве. Однако такой политики не существовало — бот её выдумал.

Этот случай стал примером так называемых «галлюцинаций» ИИ — явления, когда модель генерирует правдоподобную, но ложную информацию, вместо того чтобы признать незнание. Ошибка вызвала бурю негодования: пользователи на Reddit и Hacker News угрожали отменить подписки, а некоторые даже объявили об удалении Cursor из рабочих процессов. Пост на Reddit, где началась дискуссия, был удалён модераторами, но компания быстро отреагировала. Сооснователь Cursor Майкл Труэлл извинился, уточнив, что ошибка связана с изменениями в системе безопасности, и заверил, что ИИ-ответы теперь будут помечены.

Для компании, продающей ИИ-инструменты разработчикам, это стало болезненным уроком.