Память и контекст

Как понять, какая модель влезет в вашу RAM, и почему «длинный контекст» съедает память быстрее, чем кажется.

← Локальные модели

🇬🇧 English version: memory-and-context.md

Что влезет в вашу RAM

Реальная формула: macOS резервирует ~6–10 GB. Доступно для модели = Общая RAM − 8 GB (в среднем).
Правило 60%: держите размер модели ≤ 60% от общей RAM для стабильной работы без swap.

RAM	Доступно	Комфортные модели (Q4)	Впритык (будет swap)
8 GB	~3–4 GB	0.8B–3B	7B Q4 — 0.4 tok/s
16 GB	~8–10 GB	3B–8B Q4/Q5	9B Q4, 14B Q4 — тесно
24 GB	~14–17 GB	7B–14B	32B Q4 — впритык
32 GB	~22–25 GB	14B–32B Q4	70B Q3 (сильные потери)
48 GB	~38–42 GB	20B–40B Q4	70B Q4 — тесно
64 GB	~54–58 GB	32B–70B Q4	70B Q5/Q6
128 GB	~118–122 GB	70B+ Q4–Q8	120B+ Q4

Что будет при swap: генерация падает до 0.3–2.2 tok/s. На M1 8 GB 8B-модель выдаёт 0.4 tok/s — в 200× медленнее cloud API.
Проверка: ollama ps показывает занятую память. Если Memory (MB) близко к RAM → закрывайте приложения или берите модель меньше.

Контекст по умолчанию (тихий пожиратель памяти)

Ollama автоматически выбирает num_ctx в зависимости от VRAM вашего Mac:

Если вы не задаёте num_ctx явно, на M1 16 GB контекст всего 4096 токенов. Для чата это маловато (≈2–3 страницы текста). Чтобы увеличить:

# Через API
curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "Привет!"}],
  "options": {"num_ctx": 8192}
}'

# Или через Modelfile
ollama create my-model -f - << 'EOF'
FROM qwen3.5:4b
PARAMETER num_ctx 8192
EOF

Правило: каждый токен контекста ≈ 0.5–2 MB KV cache на модель. Увеличение num_ctx с 4096 до 8192 — это ещё ~4–16 MB.

Расход KV cache (скрытый потребитель памяти)

Даже если веса модели влезают, длинный контекст съедает RAM через KV cache. Вот сколько памяти уходит сверху:

Решение: используйте KV cache квантизацию + flash attention:

• OLLAMA_KV_CACHE_TYPE=q8_0 — 2× экономия (хорошее качество)
• OLLAMA_KV_CACHE_TYPE=q4_0 — 4× экономия (небольшая потеря качества, но контекст влезает)
• OLLAMA_FLASH_ATTENTION=1 — дополнительная экономия + ускорение (экспериментально)
• Комбинация q4_0 + flash attention даёт до 5× меньше памяти на KV cache

Подробнее о TurboQuant и форматах — в quantization.md.

Рекомендации по железу

8 GB RAM — только маленькие модели (<4B)

16 GB RAM — универсальный вариант

Как узнать точный размер модели: ollama run <model> или откройте страницу модели на ollama.com/search — там колонка Size.

24–32 GB RAM

48–64 GB RAM

Полный каталог с альтернативами — в catalog.md. Рекомендации по задачам — в models.md.

Что дальше

В разделе: getting-started · running-models · models · catalog · quantization · memory-and-context · tools · advanced-setup · troubleshooting · apple-silicon
Связанные разделы: Нулевой уровень · AI-агенты · Use Cases
Навигация: ← Локальные модели · ↑ На главную · 🇬🇧 English