AMD: запуск моделей до 128 млрд параметров в Windows с помощью LM Studio
На выставке CES 2025 компания AMD представила Ryzen AI Max+ 395 — первый в мире процессор для Windows-ПК с поддержкой ИИ, который способен локально запускать Llama 70B. Эту возможность обеспечили интеграция llama.cpp и LM Studio, что стало важным шагом на пути к локальному использованию больших языковых моделей (LLM) в среде Windows.
Теперь AMD анонсировала расширение объема доступной переменной видеопамяти, что позволяет запускать модели с до 128 миллиардов параметров через Vulkan llama.cpp под Windows. Это улучшение появится в драйверах Adrenalin Edition 25.8.1 WHQL и позволит полностью раскрыть потенциал памяти для ресурсоемких ИИ-задач — особенно на системах вроде Ryzen AI Max+ 395 с 128 ГБ ОЗУ и до 96 ГБ переменной видеопамяти.
Поддержка Llama 4 Scout и архитектуры Mixture-of-Experts
С этим обновлением Ryzen AI Max+ 395 стал первым процессором Windows AI PC, который может локально ...