На каком ПК запустится нашумевшая нейросеть DeepSeek-R1: какие компоненты нужны и сколько стоят
Нашумевшая бесплатная нейросеть DeepSeek-R1, которая при своей открытости работает на уровне платной модели ChatGPT o1, стала известна в том числе благодаря крайне маленькому для LLM такого уровня размеру — её в буквальном смысле получится запустить на домашнем компьютере, а не на мощных серверах в дата-центрах. Причём речь даже не об «урезанных» версиях нейросети, а о полноценной DeepSeek-R1 без дистилляции и при квантизации Q8 (обеспечивающей баланс между точностью, скоростью работы и весом). В соцсети X пользователь с ником @carrigmat составил сборку компьютера (гиперссылка не откроется из РФ), который сможет запустить такую модель локально, указав конкретные компоненты и их суммарную стоимость. Менее чем за сутки его пост собрал более 4,2 млн просмотров.
Необходимая материнская плата — Gigabyte MZ73-LM0 или MZ73-LM1. Необходимо два EPYC-сокета для 24 каналов под оперативную память DDR5, чтобы обеспечить максимальные объём ОЗУ и пропускную способность.
В качестве процессора понадобится любой из семейств AMD EPYC 9004 или 9005 в количестве двух экземпляров. Поскольку узким горлышком бутылки для LLM выступает пропускная способность памяти, на чипсет нет смысла тратить слишком много. Подойдёт даже 9115 или 9015, если нужно сэкономить по максимуму.
Выбор радиатора может быть проблемным, поскольку процессоры AMD EPYC используют сокет SP5, а большинство радиаторов для него рассчитаны на установку в серверные корпуса 2U/4U. Но подходящие модели можно найти на AliExpress или Ebay. При этом встроенные вентиляторы лучше заменить на Noctua NF-A12x25, чтобы они работали эффективнее и тише.
А вот на оперативной памяти экономить не стоит — понадобится 768 ГБ (чтобы вместилась нейросеть). То есть нужны 24 планки типа DDR5-RDIMM по 32 ГБ.
SSD-хранилище должно быть объёмом 1 ТБ, чтобы вместить DeepSeek-R1. При этом чем быстрее, тем лучше, поскольку придётся «перегонять» более чем 700-гигабайтную модель в оперативную память при её запуске.
Потребляемая мощность этой сборки, на удивление, низкая — до 400 Вт. Однако понадобится много кабелей для двух EPYC-сокетов. Подойдёт Corsair HX1000i или более дешёвая модель с аналогичными характеристиками.
В качестве корпуса можно выбрать любую башенную модель, но с крепёжными стойками под серверные материнские платы, которые есть не везде. Сгодится, например, Phanteks Enthoo Pro 2 Server.
Суммарная стоимость комплектующих и корпуса составляет около 6000 долларов.