Определены границы сжатия информации для языковых моделей
Экспериментально показано, что вычислительные затраты могут быть уменьшены в 1500 раз, хотя примененный для этого метод пока остается вычислительно тяжелым. Ученые из AIRI, МФТИ и Лондонского математического института (LIMS) изучили пределы вместимости языковых моделей, используя сжатие текста для оценки их емкости. Результаты показали, что текст в 1500 слов или токенов можно сжать в один вектор […]