Как выбрать локальную модель под свой компьютер

Подходящая модель справляется с типовыми задачами при заданном бюджете памяти и времени. Для отбора нужны точный тег или файл весов, контекст и небольшой набор проверочных запросов.

Коротко

Для диалога выбирайте версию, подготовленную следовать инструкциям.
Контекст должен вместить запрос, историю, служебный шаблон и ответ.
Сверяйте поддержку архитектуры и формата в вашем движке.
Записывайте лицензию конкретного файла и исходной модели.

Матрица задач

Примеры сверены 8 ноября 2026 года. Они задают кандидатов для проверки и не содержат результатов сравнительного теста.

Задача	Кандидат для проверки	Что считать успехом
Русский текст	Qwen3-4B, Apache 2.0 по карточке	Сохраняет числа и смысл в резюме, следует формату ответа
Локальный код	Qwen2.5-Coder-7B-Instruct, Apache 2.0 по карточке	Проходит заранее написанные тесты на небольших задачах
Документы	Qwen3-4B с извлечённым текстом и номерами страниц	Отвечает по приведённому фрагменту и приводит проверяемую страницу
Проверка запуска	Ollama `llama3.2:1b`, Llama 3.2 Community License	Загружается и отвечает на короткий запрос

Для поиска по большому документу можно передавать модели несколько найденных фрагментов с их номерами страниц. Сверяйте цитаты с оригиналом. При добавлении OCR или поиска по фрагментам проверяйте качество каждого шага отдельно.

Фильтр по памяти

Бюджет состоит из весов, KV-кеша и рабочего запаса.

Узнайте размер конкретного файла или всех частей сборки. У Qwen3-4B Q4_K_M опубликованный размер около 2,50 GB, то есть 2,33 GiB на диске.
Добавьте бюджет KV-кеша на выделенный контекст. При 4096 токенах, одной последовательности и FP16 расчёт для Qwen3-4B даёт 0,5625 GiB.
Оставьте место для буферов и других приложений. Откройте расчёт Qwen3-4B с условным запасом 20 %.
Запустите нужный запрос и проверьте размещение и свободную память. Сравнивайте на одном контексте и с одинаковыми настройками.

Если память ограничивает выбор, проверьте более компактный файл другой квантизации или меньшую модель. Сравните ответы на тех же заданиях. Для Qwen3 зафиксируйте режим рассуждения, иначе объём генерации может сильно различаться.

Проверка лицензии и качества

Запишите название модели, ревизию, лицензию и источник файла. Если планируется распространять веса или запускать сервис для других, сверяйте условия распространения и требования к уведомлениям у конкретной сборки. Для локальной проверки держите набор из трёх запросов: краткое резюме на русском, небольшое исправление кода и вопрос к документу с известным ответом. Запишите ожидаемый результат до теста. Если ответ хорош только на демонстрационном запросе из карточки, проверьте ещё один из своих примеров.

Частые вопросы

Стоит ли брать самую крупную модель, которая помещается?

Проверьте качество, время ответа и запас под контекст на своих запросах. По числу параметров выбрать победителя нельзя.

Как проверить работу с PDF?

Извлеките текст и проверьте его перед передачей модели. Для сканов может потребоваться OCR. Для прямой подачи изображений нужна модель с соответствующей поддержкой.

Переносится ли лицензия исходной модели на GGUF?

Проверьте лицензию и уведомления у исходной модели и конкретной сборки. Условия использования зависят от этих материалов и вашего сценария.