Локальный ИИ
Начните с задачи и бюджета памяти. Затем запустите небольшую модель и проверьте, где она выполняется: на CPU, GPU или сразу на обоих устройствах.
- С чего начать локальный ИИДерево выбора по задаче, ОС и доступной памяти
- Сколько памяти нужно LLMВеса, контекст, KV-кеш и запас — отдельными величинами
- Установка Ollama в WindowsОт установки до первого ответа и проверки устройства
- Ollama не использует GPUДерево проверок драйвера, backend, логов и памяти
- Ollama в LinuxУстановка на Ubuntu 24.04 LTS, служба и локальный API
- Выбор локальной моделиМатрица задач, совместимость, память и лицензии
- Квантизация LLMКонтейнер GGUF, типы блоков и размер файла
- Медленный ответ LLMДиагностика загрузки, обработки промпта и генерации
- Видеокарта для локального ИИVRAM, пропускная способность, драйверы и питание
- Локальная LLM без видеокартыВыбор модели для RAM и замер на CPU через llama-bench
- Контекстное окно и KV-кешКак контекст и параллельность меняют память при запуске
- Open WebUI и Ollama в домашней сетиCompose, хранение данных, учётные записи и доступ по SSH
Локальная языковая модель обрабатывает запрос на вашем компьютере. Для первого опыта не нужно собирать сервер: сначала выясните, подходят ли существующее оборудование и выбранная программа.
Первый маршрут
- Определите задачу и способ запуска: текстовый помощник, работа без сети или эксперимент с API.
- Оцените RAM и VRAM и перенесите свои условия в калькулятор памяти.
- Установите Ollama в Windows и получите первый ответ на небольшой модели.
- Если результат выполняется на CPU вместо ожидаемого GPU, пройдите диагностику видеокарты.
Оборудование, контекст и домашний чат
- Выберите видеокарту или проверьте запуск на CPU.
- Настройте контекст и параллельные запросы, если модели не хватает памяти.
- Подключите Open WebUI к Ollama для доступа к чату из домашней сети.
Границы серии
Материалы посвящены текстовому инференсу — получению ответа уже обученной модели. Обучение, генерация изображений и подключение домашних устройств требуют другого бюджета и процедур. Оценки памяти здесь расчётные; аппаратные скорости не измерялись.