Проект по анализу человеческого языка закрылся — ИИ «загрязнил» данные

Робин Спир, создатель проекта Wordfreq с открытым исходным кодом, объявил о прекращении работы инструмента из-за чрезмерного влияния ИИ-спама. Wordfreq отслеживал языковые тенденции, анализируя миллионы источников на таких платформах, как Википедия, новостные статьи, Reddit и другие, охватывая более 40 языков. Он широко использовался учеными, изучающими эволюцию языка и культуры.

В своем заявлении на странице проекта на GitHub Спир объяснила, что Интернет, который обеспечивал большую часть данных для Wordfreq, теперь наводнен контентом, созданным искусственным интеллектом. Она отметила, что если традиционный спам можно отфильтровать, то текст, созданный крупными языковыми моделями, «маскируется под реальный язык», что делает невозможным выявление истинных тенденций использования текста людьми.

Спир подчеркнула, что достоверная информация об использовании языка после 2021 года недостижима, что и привело к закрытию проекта.