Модели для разных задач

Рекомендации по выбору моделей в зависимости от ваших задач и доступного ресурса.

🇬🇧 English version: models.md

← Локальные модели · Каталог →

Содержание

1. Быстрый выбор по задачам
2. По объёму RAM
3. Ключевые возможности моделей
4. Модели для программирования
5. Чат-модели
6. Модели для рассуждений
7. Модели для 8 GB
8. Что дальше

Что влияет на выбор модели

При выборе модели учитывайте:

1. Задача - программирование, чат, анализ текста, работа с изображениями
2. Доступная VRAM/RAM - сколько памяти у вас есть для модели
3. Требуемое качество - нужен ли вам максимум качества или достаточно “достаточно хорошего”
4. Скорость работы - важна ли быстрая реакция или можно подождать

1. Быстрый выбор по задачам

2. По объёму RAM

Ваша RAM	Лучшая модель	Примерная скорость
8 GB	Phi-4-mini (3.8B), Qwen 3.5 4B	25-35 tok/s
16 GB	Qwen 2.5 Coder 7B, Qwen 3.5 9B	15-25 tok/s
24 GB	Qwen3.6-27B (Q4), Gemma 4 26B MoE	18-28 tok/s
32 GB	Llama 3.1 70B (Q3)	20-40 tok/s
48 GB	Llama 3.3 70B (Q4)	10-20 tok/s
64 GB	Gemma 4 31B (Q8)	8-15 tok/s
128 GB	DeepSeek-V4-Flash, Qwen3.5-397B	15-30 tok/s

3. Ключевые возможности моделей

• FIM (Fill-in-the-Middle) — требуется для автодополнения кода в IDE. Есть у Qwen Coder.
• Tool calling — требуется для AI-агентов. Есть у Qwen 3.5+, Llama 3.1+
• Длинный контекст — 128K+ для работы с большими кодовыми базами. Qwen 3.5 поддерживает 256K
• Мультимодальность — модели с камерой для понимания изображений (Llama 3.2 Vision, Gemma 4)

4. Модели для программирования

• Qwen 2.5 Coder 7B - лучший баланс качества и скорости
• DeepSeek Coder V2 Lite (16B MoE, ~2.4B активных) - если есть больше ресурсов
• Stable Code 3B - очень быстрый для автодополнения
• CodeLlama 7B/13B - хорошая альтернатива с большой экосистемой

Сравнение кодинг-моделей

5. Чат-модели

6. Модели для рассуждений

• Phi-4 Mini (3.8B) - удивительно сильный для своего размера
• Phi-4 (14B) - если есть ресурсы, превосходен в логике
• Qwen 2.5 Math серии - специально заточена на математические задачи
• DeepSeek Math 7B/7B-Instruct - сильная математическая модель

Сравнение reasoning-моделей

Важно: Reasoning-модели медленнее (они «думают» перед ответом), но дают лучше результат на сложных задачах. Не подходят для реального времени.

7. Модели для 8 GB

Для Mac с 8GB RAM или CPU-only инференса:

Модели для MacBook Air M1 16GB (референс)

Ниже таблица с моделями, которые хорошо работают на 16GB унифицированной памяти M1/M2 чипов.

Как подобрать модель под ваш объем памяти

Формула расчета

Память модели ≈ (Параметры в млрд) × (Байт на параметр) + KV cache + накладные расходы

Примеры расчета для разных объемов RAM

Рекомендации по объемам

Специализированные модели

Для работы с изображениями (vision)

• Gemma 4 (4B) - отличный баланс размер/качество
• Llama 3.2 Vision (11B/90B) - если нужен максимум качества
• Pixtral (12B) - от Mistral, хорошие мультимуодальные способности
• InternVL2 (2B/4B/8B) - серия с отличным качеством для своего размера

Для длинного контекста

• Qwen 3.5 серии (8B/14B/32B) - до 32K токенов контекста
• Yi серии (6B/9B/34B) - до 200K токенов у некоторых вариантов
• GLM-4 (9B) - до 128K токенов
• Phi-3-mini-128k - специальная версия с 128K контекстом

Как читать названия моделей

Пример: Qwen 2.5 Coder 7B Instruct Q4_K_M

• Qwen 2.5 - семейство и версия модели
• Coder - специализация (можно пропустить для общей модели)
• 7B - количество параметров (7 миллиардов)
• Instruct - версия, настроенная на выполнение инструкций (vs базовая)
• Q4_K_M - тип квантизации (см. ниже)

Основные типы квантизации (GGUF)

Совет по выбору квантизации: Для большинства задач начните с Q4_K_M - это обычно лучший баланс качества, размера и скорости. Если нужно больше качества и есть память - переходите на Q5_K_M или Q6_K. Если критична скорость или очень мало памяти - рассмотрите Q3_K_M или Q2_K.

Специфические рекомендации по железу

Apple Silicon (M1/M2/M3/M4)

• Лучше всего работают модели в формате GGUF
• Через Ollama или LM Studio (автоматически использует Metal)
• Для максимальной скорости - mlx-lm (формат MLX)
• Избегайте больших контекстных окон (>16K) на M1/M2 из-за ограниченной пропускной способности памяти

NVIDIA GPU

• Лучше всего работают через llama.cpp с CUDA или через текстовые инференс фреймворки
• Форматы GGUF и GPTQ работают хорошо
• Обращайте внимание на объем VRAM (не путать с системной RAM)
• Для 8GB VRAM: модели до 7B Q4/Q5 комфортно
• Для 12GB VRAM: до 13B Q4/Q5
• Для 16GB VRAM: до 20-24B Q4
• Для 24GB+ VRAM: можно пробовать 30-70B модели с соответствующей квантизацией

AMD GPU

• Поддержка через ROCm (ограниченная)
• Лучше использовать через llama.cpp или текстовые фреймворки с CPU fallback
• Аналогичные рекомендации по объему памяти как для NVIDIA

CPU только

• Ограничьтесь моделями до 3-4B для приемлемой скорости
• Используйте агрессивную квантизацию (Q2_K/Q3_K)
• Ожидайте скорость 1-5 токенов/секунду на современных процессорах
• Лучше всего подходят для экспериментов и легких задач

Где брать модели

Ollama библиотека

Самый простой способ для начала:

ollama pull qwen3:8b
ollama run qwen3:8b

Доступные модели можно посмотреть на ollama.com/library

Hugging Face

Для более продвинутых пользователей:

• Ищите модели с суффиксом .gguf в названии (готово для llama.cpp)
• Или берите оригинальные модели и конвертируйте сами через llama.cpp/convert_hf_to_gguf.py
• Популярные организации: Qwen, meta-llama, microsoft, google, NousResearch, TheBloke, lmstudio-community

Основные коллекции на HF

• TheBloke - почти все популярные модели в разных квантизациях GGUF
• lmstudio-community - оптимизированные для LM Studio
• unsloth - модели, оптимизированные для быстрого fine-tuning
• ** abitanti** - экспериментальные и специализированные модели

Следите за обновлениями

Мир LLM моделей меняется очень быстро. Рекомендуется:

1. Следить за релизами от основных лабораторий (Meta, Mistral, Qwen, Microsoft, Google)
2. Проверять обновления в любимых репозиториях на HuggingFace каждые 2-4 недели
3. Участвовать в сообществах r/LocalLLaMA и соответствующих Discords

8. Что дальше

В разделе: getting-started · running-models · models · catalog · quantization · memory-and-context · tools · advanced-setup · troubleshooting · apple-silicon
Связанные разделы: Нулевой уровень · AI-агенты · Use Cases
Навигация: ← Локальные модели · ↑ На главную · 🇬🇧 English