Как запустить локальную LLM на CPU без видеокарты

CPU подходит для пробного запуска и коротких текстовых задач, если модель помещается в доступную RAM. Удобство чата проверяйте на реальных запросах. Длительность ответа зависит от модели, размера ввода, процессора и памяти.

Коротко

Для проверки запуска подойдёт небольшая модель вроде qwen3:0.6b.
Учитывайте веса, кеш и буферы вместе со свободной RAM после запуска ОС.
Подкачка может резко менять время ответа.
В llama-bench обработку входных токенов и генерацию измеряют отдельными тестами.

Загрузка весов, обработка промпта и генерация влияют на задержку по-разному.

С чего начать при ограниченной RAM

Сценарий	Что зафиксировать
Проверка установки	Маленькая модель, один короткий запрос, размещение CPU
Короткая выжимка или черновик	Один типичный текст, ограниченный ответ, одинаковое квантование при повторах
Длинные тексты	Проверьте, можно ли делить документ на части. Учитывайте рост кеша и времени обработки входа

Если после запуска ОС свободно 5 GiB, а веса занимают 2,5 GiB, кеш 0,5 GiB и буферы 0,75 GiB, оценка составляет 3,75 GiB. Запас до текущей границы равен 1,25 GiB. Это учебный пример. Файл с весами и реальный расход процесса могут отличаться. Сверьте формат GGUF и фактическую память в мониторе ОС.

Повторяемый замер

В уже установленном Ollama можно выполнить ollama run qwen3:0.6b, отправить короткий запрос и проверить ollama ps в другом терминале. Если движок выбрал GPU, для отдельного сравнения CPU используйте сборку llama.cpp с утилитой llama-bench и своим файлом GGUF.

llama-bench -m ./model.gguf -ngl 0 -dev none -p 512 -n 128 -t 4 -r 5

Укажите путь к одному GGUF. Флаги отключают offload на ускоритель и задают тесты pp512 и tg128, четыре потока и пять повторов. Сверьте доступные флаги по llama-bench --help в своей сборке. Повторите с другим числом потоков, сохранив остальные параметры.

Запишите версию или коммит движка, имя и хеш GGUF, CPU, объём и конфигурацию RAM, ОС и режим питания. Сравнивайте pp512 только с pp512, а tg128 с tg128. Синтетический тест не включает ожидание загрузки модели и сетевую задержку интерфейса. Для чата отдельно измерьте время до первого токена на типичном запросе. Аппаратных результатов для этого примера нет.

Частые вопросы

Нужна ли дискретная видеокарта для запуска LLM?

Поддерживаемую модель можно выполнять на CPU. Ограничения определяются свободной RAM и задержкой на вашем запросе.

Как узнать, что Ollama использует CPU?

Выполните ollama ps, пока модель загружена. Значение 100% CPU в колонке PROCESSOR означает размещение в системной памяти.

Что делать, если началась подкачка?

Проверьте свободную RAM, уменьшите контекст и закройте лишние приложения. Если памяти всё ещё мало, попробуйте меньшую модель или другой формат весов.