Полное сравнение инструментов локального инференса

Дата данных: 23 июля 2026. Все инструменты актуальны, версии указаны.

🇬🇧 English version: tools.md

← Локальные модели · Каталог →

Содержание

1. Обзор
2. Сценарии: какой инструмент выбрать
3. Ollama
4. LM Studio
5. llama.cpp
6. MLX (Apple Silicon)
7. vLLM
8. GPT4All
9. Jan
10. Open WebUI
11. Aider
12. Continue.dev
13. Enchanted
14. LocalAI
15. MindWork AI Studio
16. Сравнительная таблица
17. Бенчмарки на Apple Silicon
18. Масштабирование и production
19. Decision Tree
20. Гайды по установке
21. Глоссарий терминов
22. Что дальше

1. Обзор

Существует множество инструментов для запуска локальных LLM. Они различаются по:

• Поддерживаемым форматам (GGUF, MLX, AWQ)
• Поддержке оборудования (CPU, CUDA, Metal)
• Опциям квантизации (Q4, Q5, Q8 и т.д.)
• Совместимости с API (OpenAI, кастомные)
• Простоте настройки

2. Сценарии: какой инструмент выбрать

3. Ollama — стандарт для разработчиков

Параметр	Значение
Интерфейс	CLI + HTTP API
Open Source	MIT
Звёзд	148K+
Apple Silicon	Metal (native) + MLX (c v0.19, 32GB+ Mac)
GPU support	Metal (Mac), CUDA, ROCm, Vulkan
GitHub	ollama/ollama

Как работает под капотом:

• Обёртка над llama.cpp с автоматической загрузкой моделей
• Модели хранятся в ~/.ollama/models/blobs/ в формате GGUF
• При запуске: проверяет модель локально → если нет, скачивает → загружает в RAM → запускает llama.cpp backend
• HTTP API на порту 11434, совместимый с OpenAI API

GPU Support Matrix:

Платформа	Backend	Статус
Apple Silicon	Metal	Нативный
Apple Silicon	MLX	(v0.19+, только 32GB+ RAM, не все модели)
NVIDIA Linux	CUDA
NVIDIA Windows	CUDA
AMD Linux	ROCm
AMD Windows	ROCm	Экспериментальный
Intel GPU	Vulkan	Ограниченно
CPU only	llama.cpp	Всегда fallback

Ключевые возможности:

• Modelfile — кастомные модели (температура, системный промпт, template)
• OpenAI API совместимость (/api/chat, /api/generate, /api/embeddings)
• Multimodal (поддерживает vision-модели)
• Ollama 0.19+ — автоматический MLX backend для совместимых моделей
• OLLAMA_KV_CACHE_TYPE — управление квантизацией KV cache
• OLLAMA_NUM_PARALLEL — параллельные запросы
• OLLAMA_MAX_LOADED_MODELS — несколько моделей в памяти

Когда выбрать Ollama:

• Нужен простой API для интеграции (Continue.dev, Aider, Open WebUI)
• Хотите одну команду ollama run <model> без конфигов
• Нужна кроссплатформенность (Mac + Linux + Windows)
• Нужна максимальная скорость (MLX быстрее на 20-40%)
• Нужна тонкая настройка инференса (llama.cpp даёт больше контроля)

API Endpoints

Ollama предоставляет HTTP API на порту 11434. Все запросы — POST, ответы в JSON.

Базовые примеры:

# Generate (без streaming)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:4b",
  "prompt": "What is the meaning of life?",
  "stream": false
}'

# Chat
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Привет!"}],
  "stream": false
}'

# JSON mode
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Извлеки имя из: Меня зовут Иван"}],
  "format": "json",
  "stream": false
}'

# Список установленных моделей
curl http://localhost:11434/api/tags

# Загруженные модели (память, процессор)
curl http://localhost:11434/api/ps

# Выгрузить модель из памяти
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3.5:4b",
  "keep_alive": 0
}'

# Эмбеддинги
curl http://localhost:11434/api/embed -d '{
  "model": "all-minilm",
  "input": ["текст для векторизации"]
}'

Structured output (JSON Schema):

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Извлеки данные: Иван, 25, Москва"}],
  "format": {
    "type": "object",
    "properties": {
      "name": {"type": "string"},
      "age": {"type": "integer"},
      "city": {"type": "string"}
    },
    "required": ["name", "age", "city"]
  },
  "stream": false
}'

OpenAI-совместимые эндпоинты

Любая библиотека для OpenAI подключается к Ollama сменой base_url:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # любое значение
)

response = client.chat.completions.create(
    model="qwen3.5:4b",
    messages=[{"role": "user", "content": "Привет!"}]
)
print(response.choices[0].message.content)

# curl-версия
curl http://localhost:11434/v1/chat/completions -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Привет!"}]
}'

Modelfile Parameters

Modelfile — конфигурация модели в Ollama (аналог Dockerfile для LLM):

FROM qwen3.5:4b
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
SYSTEM "Ты профессиональный Python-разработчик."

Все параметры PARAMETER:

*num_ctx в Modelfile = 2048, но через API авто-выбирается по VRAM. На M1 16GB → 4096 (см. README).

Другие инструкции Modelfile:

Environment Variables

Ключевые OLLAMA_* переменные для настройки:

4. LM Studio — лучший GUI

Параметр	Значение
Интерфейс	GUI + Headless daemon
Open Source	Закрытый исходник
Apple Silicon	MLX (автоопределение) + llama.cpp
OS	macOS, Windows, Linux
Сайт	lmstudio.ai

Особенности:

• Встроенный поиск моделей на HuggingFace (по категориям, размеру)
• Автоматический выбор бэкенда: MLX для Mac, CUDA для NVIDIA
• Возможность перетаскивать GGUF-файлы
• Встроенный чат с system prompt, template, параметрами
• Server mode: OpenAI-совместимый API
• Headless daemon с версии 0.3 (работает в фоне)

LM Studio vs Ollama на M4 Pro 24GB (Qwen3-Coder-30B MoE):

(Источник: asiai.dev)

Когда выбрать LM Studio:

• Только начинаете — не хотите CLI
• Хотите быстро тестировать разные модели
• Нужна максимальная скорость на Mac (MLX)
• Нужна автоматизация / CI (нет CLI)
• Нужен полный open source

5. llama.cpp — полный контроль

Параметр	Значение
Интерфейс	CLI + Server
Open Source	MIT
Apple Silicon	Metal (нативный)
OS	Все платформы
GitHub	ggml-org/llama.cpp 70K+

Уникальные возможности:

• GGUF формат: K-quants (Q4_K_M, Q5_K_M) и I-quants (IQ2_XXS, IQ3_XXS)
• Speculative decoding (в 1.5-2× быстрее)
• KV cache квантизация (q8_0, q4_0)
• Встроенный embedding endpoint
• Batch processing
• LoRA адаптеры на лету

Speculative decoding (M3 Ultra 192GB, Llama 3.1 70B Q4):

Когда выбрать llama.cpp:

• Нужна кроссплатформенность (везде GGUF)
• Хотите полный контроль над инференсом
• Используете нестандартные квантизации
• Хотите простоту «одной команды»

6. MLX (mlx-lm) — фреймворк Apple

Параметр	Значение
Интерфейс	Python API + CLI
Open Source	Apache 2.0
Apple Silicon	Нативный (создан Apple)
OS	macOS только
GitHub	ml-explore/mlx 18K+

Что такое MLX: MLX — это фреймворк машинного обучения от Apple для Apple Silicon. Он включает:

• mlx — ядро (массивы, автоград, оптимизаторы)
• mlx-lm — надстройка для языковых моделей (инференс + fine-tuning)
• mlx-examples — примеры (LoRA, QLoRA, адаптеры)

В отличие от llama.cpp:

• Не обёртка, а нативный фреймворк для Apple Silicon
• Поддерживает обучение (fine-tuning, LoRA, QLoRA), а не только инференс
• В 2 раза быстрее llama.cpp на Mac (нативная оптимизация)
• Использует униформные квантизации (4-bit, 8-bit), не K-quants

Производительность (M5 Max 128GB, Llama 3.1 70B Q4):

Fine-tuning на MLX:

from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen3-8B-4bit")

# LoRA fine-tuning
from mlx_lm import lora
lora.train_lora(
    model=model,
    tokenizer=tokenizer,
    train_set="data.jsonl",
    num_lora_layers=16,
    lora_rank=8,
)

Когда выбрать MLX:

• Максимальная скорость на Mac
• Нужен fine-tuning / LoRA / QLoRA
• Python-экосистема
• Только Mac (не кроссплатформенный)
• Нужен GUI

7. vLLM — production serving

Параметр	Значение
Интерфейс	HTTP API (OpenAI-совместимый)
Open Source	Apache 2.0
Apple Silicon	Не поддерживает (только NVIDIA/AMD)
GitHub	vllm-project/vllm 45K+

Ключевые технологии:

• PagedAttention — эффективное управление KV cache (избавляет от фрагментации)
• Continuous batching — динамическое добавление/удаление запросов из батча
• Prefix caching — кэширование общих префиксов промптов
• Tensor parallelism — распределение модели на несколько GPU
• Speculative decoding — встроенный

Когда нужен vLLM:

• Production-сервер с высокой нагрузкой (10+ concurrent users)
• Batch-обработка тысяч промптов
• Multi-GPU кластер
• Не для Mac (только NVIDIA/AMD Linux)

8. GPT4All — RAG и документы

Параметр	Значение
Интерфейс	GUI + Python API + CLI
Open Source	MIT
Apple Silicon	Metal
GitHub	nomic-ai/gpt4all 72K+

LocalDocs (RAG):

• Встроенная индексация документов (PDF, TXT, MD, DOCX)
• Векторная БД (своя реализация на базе Nomic)
• Поиск по локальным файлам без отправки в облако
• Привязка к папкам (до 10 коллекций)

GPT4All vs Open WebUI для RAG:

Критерий	GPT4All	Open WebUI
Установка	Один .dmg	Docker / pip
Документы	LocalDocs	9 векторных БД
Мультипользователь
API	Local	OpenAI-совместимый
Ресурсы	Лёгкий	Тяжелее (Python)
Форматы	PDF, TXT, MD, DOCX	Любые через доки

Когда выбрать GPT4All:

• Только RAG на локальных документах
• Минимальная установка (один клик)
• Нужен API сервер / интеграции
• Мультипользовательский доступ

9. Jan — десктопный AI

Параметр	Значение
Интерфейс	GUI (Electron)
Open Source	AGPL (ядро), GUI закрыт
Apple Silicon	Metal
GitHub	janhq/jan 35K+

Особенности:

• Model Hub — поиск и скачивание моделей
• Поддержка vision-моделей (через llama.cpp)
• Remote model support (подключение к OpenAI, Anthropic, локальным серверам)
• Thread management (история диалогов)
• Local server mode

Когда выбрать Jan:

• Нужен красивый десктопный клиент
• Хотите совмещать локальные и cloud-модели
• Нужна лёгкость (Electron жрёт RAM)

10. Open WebUI — веб-интерфейс для Ollama

Параметр	Значение
Интерфейс	Веб (Python + Svelte)
Open Source	MIT
Установка	docker run
GitHub	open-webui/open-webui 70K+

Возможности:

• Подключение к Ollama, OpenAI, Anthropic, Google, AWS Bedrock
• 9 векторных БД: Chroma, Milvus, Qdrant, Weaviate, PGVector, Elastic, Meilisearch, Pinecone, Supabase
• Agentic RAG: агент сам решает, когда и как искать документы
• Мультипользовательский режим (команды)
• Web search, image generation, audio input
• Темы, кастомизация

Когда выбрать Open WebUI:

• Нужен веб-интерфейс для команды
• Продвинутый RAG с агентским поиском
• Нужна поддержка 9+ векторных БД
• Только для одного пользователя (избыточно)

11. Aider — CLI-агент для кодинга

Параметр	Значение
Интерфейс	CLI
Open Source	Apache 2.0
Локальные модели	Да (через Ollama)
GitHub	paul-gauthier/aider 25K+

Архитектура:

• Архитектор/Редактор (architect/editor) — split: один планирует, второй пишет код
• Repo map — автоматическая карта репозитория для контекста
• Map-refine — уточнение карты при изменениях
• Lint & test integration — автоматическая проверка кода

Качество с локальными моделями:

• Qwen 2.5 Coder 7B — ~50% от качества GPT-4o на задачax Aider
• DeepSeek R1 7B — хорошо для рефакторинга
• Qwen3-Coder-30B — ~70% от GPT-4o

Установка:

python -m pip install aider-chat
export OLLAMA_API_BASE=http://localhost:11434
aider --model ollama/qwen2.5-coder:7b

Когда выбрать Aider:

• Нужен автономный кодинг-агент в CLI
• Рефакторинг через промпты
• Нужен GUI / визуальный интерфейс

12. Continue.dev — IDE-плагин

Параметр	Значение
Интерфейс	IDE плагин (VS Code, JetBrains)
Open Source	Apache 2.0
Локальные модели	Да (через Ollama)
GitHub	continuedev/continue 25K+

Как работает:

• Подключается к любому OpenAI-совместимому API (Ollama, LM Studio, vLLM)
• Chat — диалог с моделью прямо в IDE
• Inline editing — выделили код → промпт → модель меняет
• Tab autocomplete — автодополнение при печати (через отдельную модель)
• @codebase — контекст всего репозитория через embeddings

Per-role модели:

{
  "models": [
    {
      "title": "Быстрый чат",
      "provider": "ollama",
      "model": "qwen3:4b"
    },
    {
      "title": "Автодополнение",
      "provider": "ollama",
      "model": "qwen2.5-coder:1.5b"
    },
    {
      "title": "Сложный рефакторинг",
      "provider": "ollama",
      "model": "qwen2.5-coder:14b"
    }
  ]
}

Когда выбрать Continue.dev:

• Работаете в VS Code / JetBrains
• Хотите AI-ассистента без подписки Copilot
• Нужен tab autocomplete с локальной моделью
• Не используете IDE

13. Enchanted — клиент для macOS и iOS

Параметр	Значение
Интерфейс	macOS + iOS GUI (SwiftUI)
Open Source	MIT
Apple Silicon	Нативный, подключается к Ollama
GitHub	gluonfield/enchanted

Особенности:

• Нативные приложения для macOS и iOS (SwiftUI)
• Подключается к любому Ollama-серверу по URI (http://localhost:11434)
• Можно стучаться с iPhone до Mac в локальной сети
• Минималистичный интерфейс в стиле Apple
• Markdown-рендеринг, поддержка изображений

Когда выбрать:

• Нужен клиент для iPhone/iPad в дополнение к Mac
• Нравится минималистичный дизайн
• Не нужна iOS-версия — Ollama CLI или Open WebUI проще

14. LocalAI — OpenAI API drop-in

Параметр	Значение
Интерфейс	HTTP API (OpenAI-совместимый)
Open Source	MIT
Установка	Docker, binaries
GitHub	mudler/LocalAI 30K+

Поддержка бэкендов (60+):

• llama.cpp, transformers, diffusers, whisper, piper-tts, stable-audio
• Image generation, text-to-speech, speech-to-text
• Embeddings, reranking
• Gallery моделей (YAML-конфиги)

Docker:

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Когда выбрать LocalAI:

• Нужен полный OpenAI API (включая TTS, STT, images)
• Docker-инфраструктура
• Просто LLM (избыточно)

15. MindWork AI Studio — универсальный мульти-провайдер

Параметр	Значение
Интерфейс	GUI (macOS, Windows, Linux)
Open Source	FSL-1.1-MIT (→ MIT через 2 года)
Apple Silicon	Нативный
GitHub	MindWorkAI/AI-Studio 529

Поддержка провайдеров:

Особенности:

• Единый интерфейс для локальных и облачных моделей — переключение без перезагрузки
• Ассистенты для типовых задач (перевод, анализ документов, генерация слайдов)
• Поддержка image generation (DALL-E, Stable Diffusion)
• RAG (Qdrant, внешние данные через ERI)
• Плагины на Lua, i18n, enterprise-конфигурации
• Бесплатно, даже для коммерческого использования

Когда выбрать:

• Нужен один GUI для всех провайдеров (локальных и облачных)
• Хотите быстро переключаться между моделями без настройки
• Нужны ассистенты для бизнес-задач
• Нужен только локальный запуск — Ollama или LM Studio проще
• Нужен CLI/API для автоматизации — не замена Ollama

16. Сравнительная таблица

Характеристика	Ollama	LM Studio	llama.cpp	MLX	vLLM	GPT4All	Jan	Open WebUI	Aider	Continue.dev	Enchanted	LocalAI	MindWork AI Studio
Тип	Движок	Движок+GUI	Движок	Движок	Движок	Движок+GUI	Десктоп UI	Веб UI	CLI-агент	IDE-плагин	Моб. UI	Движок+API	Мульти-GUI
Установка	1 команда	Скачать	Сборка из исходников	pip install	pip/Docker	pip install	Скачать	docker run	pip install	Установка в IDE	Скачать	Docker	Скачать
Платформа	Mac/Lin/Win	Mac/Lin/Win	Mac/Lin/Win	Только Mac	Linux	Mac/Lin/Win	Mac/Lin/Win	Веб	Mac/Lin/Win	IDE	macOS/iOS	Mac/Lin/Win	Mac/Lin/Win
GPU поддержка	CUDA+Metal	CUDA+Metal	CUDA+Metal	(только M)	(CUDA)	(только CPU)	Metal	Через бэкенд	Через бэкенд	Через бэкенд	Через бэкенд		Через бэкенд
Open Source	MIT		MIT	Apache 2.0	Apache 2.0	MIT	AGPL (ядро)	MIT	Apache 2.0	Apache 2.0	MIT	MIT	FSL-1.1
Квантизации	K-quants	K-quants	K-quants + I-quants	2–6 bit	AWQ/GPTQ	K-quants	Через бэкенд	N/A	N/A	N/A	N/A	Все форматы	N/A
Tool calling
OpenAI API
Docker				(только Mac)					Community
Паралл. запросы
Multi-model			Вручную	Вручную
RAG поддержка	Вручную		Вручную	Вручную		(LocalDocs)		(9 БД)		(@codebase)			(Qdrant)
Скорость (M1 7B)	22–25 t/s	22–28 t/s	20–25 t/s	28–35 t/s	N/A	10–15 t/s	Через бэкенд	N/A	N/A	N/A	N/A	Через бэкенд	N/A

17. Бенчмарки на Apple Silicon

17.1 MLX vs llama.cpp vs Ollama (M5 Max 128GB, Llama 3.1 70B Q4)

Бэкенд	tok/s	Память	Отставание
MLX	18	~39 GB
llama.cpp Metal	14	~41 GB	-22%
Ollama (CPU)	12	~41 GB	-33%

(Источник: CraftRigs)

17.2 MLX vs llama.cpp (M4 Max 36GB, Llama 3 8B Q4)

(Источник: Contra Collective)

17.3 MLX vs llama.cpp (M3 Ultra 192GB, Llama 3.1 70B Q4)

(Источник: Contra Collective)

17.4 Systematic comparison (arXiv, M2 Ultra 192GB, Qwen-2.5)

(Источник: arXiv:2511.05502)

17.5 Speculative decoding ускорение

17.6 Влияние контекста на скорость

Gemma 4 26B MoE на M3 Max 128GB:

(Источник: PubliVault)

17.7 M4 Pro 24 GB, Qwen3-Coder-30B MoE

17.8 MLX backend в Ollama

С марта 2026 года Ollama может использовать MLX backend на Mac с 32 ГБ+ RAM:

• Qwen 3.5-35B-A3B: 58 → 112 tok/s на M5 Max (+93%)
• Пока работает с моделями Qwen, Llama/Mistral скоро

18. Масштабирование и production

18.1 Concurrent users

18.2 Docker support

Инструмент	Docker	Известный образ
Ollama		ollama/ollama
LM Studio		—
MLX	(только Mac)	mlx-community
llama.cpp		ghcr.io/ggml-org/llama.cpp
vLLM		vllm/vllm-openai
GPT4All		—
Jan		—
Open WebUI		ghcr.io/open-webui/open-webui
LocalAI		localai/localai
Aider		Community

18.3 GPU memory management

Инструмент	Unload	Offload	KV cache control	Multi-GPU
Ollama	При бездействии	OLLAMA_GPU_LAYERS	OLLAMA_KV_CACHE_TYPE
MLX	(вручную)	N/A (всегда GPU)
llama.cpp		-ngl	--cache-type-k, --cache-type-v
vLLM		--gpu-memory-utilization	--kv-cache-dtype

19. Decision Tree

Хочу запускать LLM локально
│
├─ Я полный новичок, не хочу терминал
│  └─ LM Studio ─────────────────────────────── GUI, авто-MLX, поиск моделей
│
├─ Нужна одна команда и API
│  └─ Ollama ─────────────────────────────────── brew install + ollama run
│     │
│     ├─ Хочу GUI сверху → Open WebUI ───────── Docker, RAG, multi-user
│     ├─ Хочу IDE assistant → Continue.dev ──── VS Code, tab autocomplete
│     └─ Хочу CLI agent → Aider ─────────────── architect/editor, repo map
│
├─ Mac, нужно максимально быстро
│  └─ MLX (через LM Studio или mlx-lm) ─────── +20-40%, -50% RAM
│
├─ Нужен production server на Linux
│  └─ vLLM ───────────────────────────────────── Continuous batching, multi-GPU
│
├─ Нужен RAG на документах
│  ├─ Одному пользователю → GPT4All
│  └─ Команде → Open WebUI
│
├─ Нужно обучение / fine-tuning
│  └─ MLX (mlx-lm) ──────────────────────────── LoRA/QLoRA на Apple Silicon
│
├─ Нужен полный контроль и гибкость
│  └─ llama.cpp (raw) ──────────────────────── GGUF, speculative decoding
│
├─ Нужен полный OpenAI API (TTS, STT, images)
│  └─ LocalAI ───────────────────────────────── 60+ бэкендов, Docker
│
├─ Нужен десктопный клиент для локальных + облачных моделей
│  └─ Jan ───────────────────────────────────── Model Hub, remote support
│
└─ Нужен один GUI для всех провайдеров
   └─ MindWork AI Studio ────────────────────── Локальные + облачные, плагины, RAG

20. Гайды по установке

Ollama

# macOS
brew install ollama

# Linux
curl -fsSL https://ollama.com/install.sh | sh

# Запуск модели
ollama run qwen3:8b

# API
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Привет!",
  "stream": false
}'

# Modelfile
cat > Modelfile << 'EOF'
FROM qwen3:8b
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
SYSTEM "Ты профессиональный Python-разработчик."
EOF
ollama create my-coder -f Modelfile

LM Studio

# 1. Скачайте .dmg с lmstudio.ai
# 2. Откройте → Search → найдите модель
# 3. Download → Load → Chat
# Server mode:
# Settings → Server → Enable → Port 1234

MLX

# Установка
pip install mlx-lm

# Инференс
python -m mlx_lm.generate \
  --model mlx-community/Qwen3-8B-4bit \
  --prompt "Привет, как дела?" \
  --max-tokens 256

# Чат
python -m mlx_lm.chat \
  --model mlx-community/Qwen3-8B-4bit

# HTTP сервер
python -m mlx_lm.server \
  --model mlx-community/Qwen3-8B-4bit

# Fine-tuning
python -m mlx_lm.lora \
  --model mlx-community/Qwen3-8B-4bit \
  --data data.jsonl \
  --num-layers 16 \
  --lora-rank 8

llama.cpp

# Сборка
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && make -j

# Скачать GGUF
wget https://huggingface.co/Qwen/Qwen3-8B-GGUF/resolve/main/qwen3-8b-q4_k_m.gguf

# Запуск
./main -m qwen3-8b-q4_k_m.gguf \
  -p "Привет!" \
  -n 256 \
  -ngl 99  # все слои на GPU

# Сервер
./server -m qwen3-8b-q4_k_m.gguf \
  --port 8080 \
  -ngl 99

# Embeddings
./embedding -m qwen3-8b-q4_k_m.gguf \
  -p "Какой-то текст для эмбеддинга"

vLLM

# Установка (Linux only)
pip install vllm

# Сервер
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3-8B \
  --dtype auto \
  --gpu-memory-utilization 0.9

# API
curl http://localhost:8000/v1/chat/completions -d '{
  "model": "Qwen/Qwen3-8B",
  "messages": [{"role": "user", "content": "Привет!"}]
}'

Aider + Ollama

# Установка
python -m pip install aider-chat

# Запуск с локальной моделью
export OLLAMA_API_BASE=http://localhost:11434
aider --model ollama/qwen2.5-coder:7b

# Architect mode (2 модели)
aider --model ollama/qwen2.5-coder:7b \
  --editor-model ollama/qwen3:4b

# Режимы
aider --chat-mode ask      # вопросы о коде
aider --chat-mode code     # написание кода
aider --chat-mode architect # архитектор + редактор

Open WebUI

# Docker
docker run -d -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# Подключение к Ollama
# Настройки → Подключения → Ollama API URL: http://host.docker.internal:11434

GPT4All

# macOS
brew install --cask gpt4all

# Или скачать с https://gpt4all.io/

# Python API
pip install gpt4all

LocalAI

# Docker
docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

# LLM
curl http://localhost:8080/v1/chat/completions -d '{
  "model": "gpt-4",
  "messages": [{"role": "user", "content": "Привет!"}]
}'

# TTS
curl http://localhost:8080/v1/audio/speech -d '{
  "model": "tts-1",
  "input": "Привет, мир!",
  "voice": "en_US-amy-medium"
}'

Jan

# Скачайте с https://jan.ai/
# Или через Homebrew:
brew install --cask jan

# Откройте → Model Hub → Скачайте модель → Начинайте общение

Enchanted

# Скачайте из App Store (macOS и iOS)
# Или соберите из исходников:
git clone https://github.com/gluonfield/enchanted.git
# Откройте в Xcode → Build → Run

# Убедитесь, что Ollama запущен на вашем Mac
# Настройте URL сервера в параметрах
# Начинайте общение с любого устройства в сети

MindWork AI Studio

# Скачайте с https://mindwork.ai/
# Доступно для macOS, Windows, Linux

# Или соберите из исходников:
git clone https://github.com/MindWorkAI/AI-Studio.git
# Следуйте инструкциям по сборке в репозитории

21. Глоссарий терминов

22. Что дальше

Последнее обновление: 23 июля 2026 Источники: CraftRigs, Contra Collective, arXiv:2511.05502, asiai.dev, MLJourney, MacYou, GitHub, официальные сайты инструментов

В разделе: getting-started · running-models · models · catalog · quantization · memory-and-context · tools · advanced-setup · troubleshooting · apple-silicon
Связанные разделы: Нулевой уровень · AI-агенты · Use Cases
Навигация: ← Локальные модели · ↑ На главную · 🇬🇧 English