Deepseek смогла обойти узкие места в работе GPU с HBM

Компания DeepSeek опубликовала техническую статью, в которой подробно описывается новый метод, позволяющий моделям ИИ использовать базу данных с возможностью запросов, хранящуюся в системной памяти.

Этот метод, получивший название Engram, основан на условной памяти и обеспечивает значительно более высокую производительность при выполнении запросов с большим контекстом за счёт сохранения последовательностей данных в статической памяти. Это снижает зависимость моделей ИИ от логических выводов, позволяя графическим процессорам выполнять только более сложные задачи, повышая производительность и снижая зависимость от памяти HBM.

N-граммы, статистические последовательности слов, интегрируются в нейронные сети модели, что позволяет помещать их в банк памяти с возможностью запроса. Engram позволяет моделям запоминать факту, а не выводить их, что требует больших вычислительных ресурсов.

Сообщение Deepseek смогла обойти узкие места в работе GPU с HBM появились сначала на Время электроники.