Как выбрать видеокарту для локального ИИ

У видеокарты для текстовой LLM есть два порога. Сначала движок должен увидеть карту и разместить рабочий набор. После этого имеет смысл сравнивать задержку и скорость выдачи текста.

Коротко

В бюджет VRAM входят веса, KV-кеш и рабочие буферы.
Для дискретной карты считайте свободную VRAM отдельно от оперативной памяти.
Проверяйте модель GPU, ОС, версию драйвера и движка вместе.
Паспортная мощность карты и требуемая мощность БП описывают разные части системы.

Бюджет памяти проверяют для конкретной модели, контекста и числа запросов.

Что сравнивать

Критерий	Что проверить перед выбором
Свободная VRAM	Веса, кеш и буферы с вашим контекстом. Оставьте место дисплею и другим приложениям
Пропускная способность	Сравнивайте физическую полосу памяти. При генерации по одному токену чтение весов может ограничивать скорость
Стек ПО	Найдите карту в списке своего движка для вашей ОС. Для Ollama проверьте CUDA у NVIDIA или ROCm у AMD и требуемый драйвер
Питание и корпус	Сверьте длину, толщину, кабели питания и охлаждение конкретной версии карты. Проверьте бюджет БП

Пример сравнения двух карт

Карта	Паспортная память и интерфейс	Мощность платы	Поддержка в Ollama
GeForce RTX 4070 SUPER	12 ГБ GDDR6X, 192 бита	220 Вт TGP	В списке CUDA, compute capability 8.9
Radeon RX 7800 XT	16 ГБ GDDR6, 256 бит, до 624 ГБ/с	263 Вт TBP	В списках ROCm для Linux и Windows, проверьте требуемый стек для своей ОС

Значения питания приведены по спецификациям производителей. Партнёрские платы могут отличаться габаритами, разъёмами и лимитом мощности. Ширина шины без скорости памяти не даёт полосы пропускания.

Предположим, что веса занимают 9 GiB, кеш 2 GiB, а рабочие буферы 1 GiB. На загрузку понадобится около 12 GiB. При 11 GiB свободной VRAM весь набор на карту не поместится. При 15 GiB свободной VRAM расчёт оставляет около 3 GiB запаса. Фактическое размещение зависит от движка и округления буферов. Для своих чисел используйте калькулятор памяти.

Проверка на своём запросе

Зафиксируйте модель, квантование, контекст и число одновременных запросов. Для загруженной модели проверьте ollama ps. Если размещение смешанное, начните с меньшего контекста и повторите замер обработки промпта и генерации. Если даже маленькая модель остаётся на CPU при свободной VRAM, пройдите диагностику драйвера и движка.

Частые вопросы

Хватит ли 12 ГБ для любой модели на 8 млрд параметров?

Зависит от формата весов, выделенного контекста, параллельности и свободной VRAM. Сложите эти расходы для конкретного запуска.

Можно ли сложить VRAM двух карт?

Движок должен поддерживать распределение модели или запросов. Проверьте размещение, память каждой карты и цену обмена данными через PCIe.

Можно ли предсказать скорость по пропускной способности?

Паспортная скорость обмена с VRAM помогает сравнить ограничения. Для скорости ответа нужен замер одной модели и одинакового запроса на том же движке.