Квантизация LLM: GGUF, Q4, Q5 и Q8
GGUF хранит тензоры и метаданные. Обозначение квантизации помогает выбрать файл, но для бюджета памяти полезнее его фактический размер и параметры запуска.
Обновлено Редакция GAW
Квантизация представляет веса с меньшей точностью, чтобы уменьшить объём данных. GGUF задаёт контейнер для тензоров и метаданных. В одном контейнере тензоры могут иметь разные типы.
Коротко
- Обозначение Q4, Q5 или Q8 описывает семейство вариантов.
- Масштабы и смещения блоков тоже занимают место.
- Имя схемы файла может описывать смесь нескольких типов.
- Сравнивайте размер и качество на одной исходной модели.
Сколько занимают блоки
В исходниках ggml размеры блоков закреплены проверками структур. Q4_K хранит 256 значений в 144 байтах с учётом масштабов и смещений. Это 4,5 бита на вес. У Q5_K 176 байт на 256 значений, то есть 5,5 бита. Q8_0 хранит 32 значения и двухбайтовый масштаб в 34 байтах, что даёт 8,5 бита. Эти числа относятся к отдельному типу блока.
| Тип блока | Значений | Байт с параметрами блока | Бит на значение |
|---|---|---|---|
| Q4_K | 256 | 144 | 4,5 |
| Q5_K | 256 | 176 | 5,5 |
| Q8_0 | 32 | 34 | 8,5 |
Название файла Q4_K_M не означает, что весь файл собран из блоков Q4_K. У отдельных тензоров может быть другая точность, плюс файл содержит метаданные и выравнивание.
Сравнение файлов одной модели
Размеры округлены в каталоге Qwen3-4B-GGUF на ревизии bc64014.
| Файл | Размер на диске | Оценка бит на параметр при 4,0 млрд |
|---|---|---|
| Q4_K_M | 2,50 GB | 5,00 |
| Q5_0 | 2,82 GB | 5,64 |
| Q5_K_M | 2,89 GB | 5,78 |
| Q8_0 | 4,28 GB | 8,56 |
Чтобы оценить размер из разрядности, умножьте число параметров на эффективные биты и разделите на восемь. Обратный расчёт для файла 2,50 GB даёт 2,50 × 8 / 4,0 = 5 бит на параметр. Это приближение по размеру всего файла с округлением, а не измерение тензоров в памяти.
Как сравнивать варианты
Выберите два файла одной модели и запишите их ревизии. Сохраните контекст, настройки генерации и движок. Прогоните одни и те же задания, сравните ошибки, расход памяти и время. Меньший файл экономит место. Скорость и качество также зависят от реализации вычислений и выбранных запросов. Для полного бюджета добавьте KV-кеш и запас.
Частые вопросы
Всегда ли Q4 занимает четыре бита на параметр?
Нет. Блоки включают масштабы и другие данные, а файл может содержать несколько типов тензоров.
Одинаковы ли все варианты Q5?
Нет. У Q5_0 и Q5_K_M различаются схемы, а у файла может быть свой набор типов тензоров.
Квантует ли GGUF кеш автоматически?
Формат весов и формат KV-кеша задаются независимо. Смотрите параметры запуска движка.
Источники
- GGUF specification — Прочитано 08.11.2026
- llama.cpp, структуры квантованных блоков — Прочитано 08.11.2026
- Qwen3-4B-GGUF, ревизия bc64014 — Прочитано 08.11.2026
- Qwen3-4B — Прочитано 08.11.2026
Нашли ошибку? ·