Ollama не видит видеокарту: диагностика GPU

Шаг 1. Видит ли устройство операционная система

В Windows откройте диспетчер устройств и запишите модель адаптера и драйвер. Для NVIDIA дополнительно выполните в терминале:

nvidia-smi
nvidia-smi -L
ollama --version

Первый вывод позволяет проверить устройство, драйвер и занятую память, второй — список GPU. Отсутствие команды требует разобраться с установкой драйвера и путём к утилите; оно само по себе не доказывает отсутствие карты. Если ОС показывает ошибку устройства, диагностику движка отложите до исправления этого уровня.

Шаг 2. Совпадают ли GPU, ОС и backend

Документация Ollama на дату проверки указывает для NVIDIA compute capability от 5.0, драйвер от 550, а для CC 5.0–6.2 — от 570; Windows-страница отдельно задаёт базовый минимум 551.61. Применяйте более строгое условие своей связки. Для AMD документ Ollama описывает ROCm v7/HIP7; текущая матрица AMD latest уже относится к 10.1.0 и не заменяет требования Ollama. Vulkan в текущем документе включён по умолчанию при установленном backend, но его работоспособность всё равно проверяют по логам.

Не копируйте случайный HSA_OVERRIDE_GFX_VERSION: подмена цели не превращает неподдерживаемую карту в проверенную конфигурацию. Сначала исключите несовпадение версий и ограничения ОС.

Шаг 3. Есть ли модель в памяти

Запустите небольшой локальный тег по инструкции Windows, затем сразу выполните ollama ps. Зафиксируйте всю строку модели. Пустой список означает, что сейчас нечего проверять: модель могла выгрузиться.

100% CPU и смешанное размещение требуют разного продолжения. В первом случае проверьте выбор backend и ошибки обнаружения; во втором — прежде всего память весов и контекста. Проценты PROCESSOR не являются замером вычислительной загрузки.

Шаг 4. Логи и окружение именно сервера

В PowerShell для нативной Windows:

Get-Content "$env:LOCALAPPDATA\Ollama\server.log" -Tail 120
Get-ChildItem Env: | Where-Object Name -Match '^(CUDA_VISIBLE_DEVICES|ROCR_VISIBLE_DEVICES|GGML_VK_VISIBLE_DEVICES|OLLAMA_HOST|OLLAMA_CONTEXT_LENGTH)$'

Сопоставьте время ошибки с тестовым запросом: ищите выбор устройства/backend, сбой загрузки библиотеки, выделение памяти. Названия сообщений меняются между выпусками. Переменные текущего терминала — только подсказка: фоновое приложение могло унаследовать другое окружение. После исправления пользовательских переменных завершите приложение через меню в трее и запустите заново.

В Linux со службой systemd читайте journalctl -u ollama --no-pager. У контейнера собственные логи и правила доступа к устройствам: успешный запуск на хосте не подтверждает доступ внутри контейнера. Перезагрузку модулей ядра не включайте в первый диагностический проход.

Шаг 5. Контрольный опыт с памятью

Для учебного бюджета 8 млрд параметров при 4,5 бит веса занимают около 4,19 GiB. С заданным запасом 20 % и условным GQA-кешем 0,50 GiB получается около 5,53 GiB. Сравнивать эту сумму нужно со свободной, а не паспортной памятью; расчёт не гарантирует размещение.

Закройте ненужные GPU-приложения, повторите тест с меньшей моделью или явно меньшим контекстом и запишите различия. Меняйте один параметр за раз. Если меньший сценарий работает, это аргумент в пользу ограничения ресурсов, а не повод переустанавливать весь стек.

Что сохранить для сообщения об ошибке

Версию Ollama, сборку ОС, модель GPU, драйвер, backend, тег и ID модели, контекст, строку ps и относящийся к запросу фрагмент логов. Удалите личные пути и содержимое запросов перед отправкой. Такой отчёт позволяет отделить неподдерживаемое устройство от нехватки памяти и повторить проверку после обновления.