ИИ-модели научились договариваться и самоорганизовываться

В предыдущих исследованиях большие языковые модели изучались изолированно. Но в реальных ИИ-системах будет всё больше взаимодействующих агентов. Ученые задались вопросом, могут ли эти отдельные модели согласовывать действия и вырабатывать общие правила. Оказалось, что да.

В серии экспериментов были задействованы группы от 24 до 200 языковых моделей. Случайно выбранные пары агентов должны были одновременно выбрать «имя» (например, букву алфавита или случайную строку символов) из общего набора вариантов. При совпадении выбора оба агента получали вознаграждение. В случае несовпадения следовал штраф, после чего участникам демонстрировали выбор друг друга.

Агенты помнили только свои последние взаимодействия, а не все, что происходило в группе. Им также не сообщали, что они часть группы. После множества таких взаимодействий в «сообществе» само собой появлялось общее правило для выбора имен. Это происходило без какого-либо управления сверху или готового решения. Подобным образом в человеческом обществе возникают общие нормы.

Что еще более удивительно, ученые заметили общие предубеждения, которые нельзя было объяснить особенностями отдельных агентов. Предвзятость возникала между отдельными ИИ, просто в процессе их общения.

Заключительный эксперимент продемонстрировал уязвимость спонтанно возникающих норм. Оказалось, что небольшие, но активные группы ИИ-агентов способны перевести всю систему на новые правила именования. Это перекликается с понятием «критической массы» в социальных науках — минимального количества людей, необходимого для того, чтобы инициатива или социальное изменение стали самоподдерживающимися.

Результаты исследования сохранялись при использовании четырех типов языковых моделей: Llama-2-70b-Chat, Llama-3-70B-Instruct, Llama-3.1-70B-Instruct и Claude-3.5-Sonnet.

Понимание того, как ИИ вырабатывает общие правила и предубеждения при взаимодействии, важно для решения этических проблем и создания безопасных систем.