ИИ-модель от Microsoft работает на обычных процессорах

Большие языковые модели работают на графических процессорах (GPU). Это связано с тем, что для обработки колоссальных объемов данных, на которых они обучаются, требуются огромные вычислительные мощности. Эксперты все больше беспокоятся о том, что дата-центры, которые поддерживают работу популярных чат-ботов, потребляют очень много энергии. Чтобы решить эту проблему, ученые придумали новый способ обработки данных.

Значительная часть энергопотребления при работе с ИИ-моделями приходится на способ хранения и использования весов, которые обычно представляются в виде 8- или 16-битных чисел с плавающей запятой. Этот метод требует большого объема памяти и вычислительных ресурсов процессора, что приводит к высоким затратам энергии. В своем новом подходе исследователи полностью отказались от чисел с плавающей запятой и предложили использовать так называемую 1-битную архитектуру.

Суть их разработки заключается в том, что веса хранятся и обрабатываются с использованием только трех значений: −1, 0 и 1. Это позволяет при обработке использовать только простое сложение и вычитание — операции, которые легко выполняются с помощью компьютера на базе центрального процессора (CPU).

Ученые уже проверили этот метод, создав экспериментальную модель BitNet b1.58 2B4T. Бесплатный чат-бот понимает язык, решает математические задачи, пишет код и ведет беседу. Эта модель, обученная с нуля, обрабатывает до 4096 токенов и отличается высокой экономичностью в использовании ресурсов.

Тестирование новой модели показало, что по своим характеристикам она не уступает аналогичным моделям, использующим графические процессоры, а в некоторых случаях даже превосходит их. Для ее работы достаточно обычного процессора (ARM или x86) и всего 0,4 ГБ оперативной памяти, что меньше по сравнению с 2–5 ГБ, которые требуются для аналогичных моделей. Команда также разработала специальную среду выполнения — bitnet.cpp, которая эффективно использует 1-битную архитектуру модели.

Если заявления разработчиков подтвердятся, создание BitNet b1.58 2B4T может совершить революцию в области ИИ. Пользователи смогут запускать чат-боты на своих персональных компьютерах и, возможно, даже на смартфонах, без необходимости задействовать мощности крупных дата-центров. Помимо снижения потребления энергии, локальная обработка больших языковых моделей повысит уровень конфиденциальности и позволит работать даже без подключения к интернету.