Языковую модель можно запустить на обычном компьютере: скачиваете бесплатную программу (Ollama или LM Studio), выбираете открытую модель подходящего размера и общаетесь с ней без интернета. Тексты не уходят на чужие серверы, лимитов и подписки нет. Главное ограничение в памяти: модель на 8–9 млрд параметров в сжатом виде занимает 5–7 ГБ и комфортно работает при 16 ГБ оперативной или видеопамяти, модели на 27–32 млрд просят уже около 20 ГБ только на файл.
Ниже: какие программы выбрать, сколько памяти нужно, какие открытые модели понимают русский и что разрешают их лицензии. Данные на 15.11.2026.
Коротко
- LM Studio бесплатна и для работы, и для дома с 8 июля 2025 года; на Mac нужен чип Apple Silicon и macOS 14 или новее, рекомендовано от 16 ГБ памяти.
- Ollama распространяется под лицензией MIT, работает на macOS, Windows и Linux и поднимает API на
localhost:11434, совместимый с частью API OpenAI. - По библиотеке Ollama модель Qwen3 8B весит 5,2 ГБ, 14B 9,3 ГБ, 32B 20 ГБ: около 0,6 ГБ на миллиард параметров.
- Qwen 3.5, Gemma 4, gpt-oss и T-pro 2.0 выпущены под Apache 2.0, GigaChat 3.1 Lightning под MIT.
- YandexGPT 5 Lite можно использовать коммерчески, но после 10 млн выходных токенов в месяц нужно договориться с Яндексом.
Зачем запускать модель у себя, если есть облачные чаты
Где это реально полезно для сайта и контента:
- Конфиденциальные тексты. Договоры, данные клиентов, неопубликованные материалы. В FAQ Ollama прямо сказано, что при локальном запуске компания не видит ваших запросов и данных.
- Массовые однотипные задачи. Разметка тысяч запросов по интенту, черновые описания, классификация отзывов. Стоимость не растёт с объёмом.
- Работа с документами. Чат с вашими PDF и регламентами через AnythingLLM, без загрузки файлов в облако. Как устроен такой поиск по документам, объясняет статья про RAG.
- Эксперименты и разработка. Прототип бота или скрипта, который потом можно переключить на платный API. О подключении облачных моделей через API рассказано в статье API нейросетей.
Чем модель отличается от чат-сервиса и что такое параметры, разобрано в статье что такое LLM.
Ollama, LM Studio или AnythingLLM
| Что | Когда подходит | Чем платите | Почему важно |
|---|---|---|---|
| LM Studio | Первый запуск, нужен привычный чат и выбор модели мышкой | Бесплатно для дома и работы; на Mac только Apple Silicon, на Windows нужен процессор с AVX2 | Видно размер и квантизацию каждой модели, есть локальный сервер |
| Ollama | Скрипты, интеграции, сервер в офисе, связка с другими программами | Бесплатно, MIT; основное управление из терминала | API на порту 11434, часть методов совместима с OpenAI: готовый код переключается сменой адреса |
| AnythingLLM | Чат с документами (PDF, TXT, DOCX), агенты, общий доступ для команды через Docker | Бесплатно, MIT; нужна модель через Ollama, LM Studio или встроенный движок | Даёт RAG «из коробки» без программирования |
Запрос «llm studio» в Wordstat почти всегда означает LM Studio: так программу называют по ошибке.
Как выглядит запуск в Ollama
После установки с сайта ollama.com в терминале:
ollama run qwen3.5
ollama ps
Первая команда скачивает модель и открывает чат. Вторая показывает, где модель загружена: «100% GPU» означает видеокарту целиком, «100% CPU» оперативную память, а смешанное значение вроде «48%/52% CPU/GPU» говорит, что модель не влезла в видеопамять и будет работать медленнее. Модели хранятся в ~/.ollama/models на macOS и в C:\Users\%username%\.ollama\models на Windows.
Для скриптов используйте адрес http://localhost:11434/v1/: Ollama поддерживает подмножество API OpenAI, включая /v1/chat/completions и /v1/embeddings. Ключ API при этом может быть любым, Ollama его не проверяет.
Сколько памяти нужно модели
Размеры ниже взяты со страниц моделей в библиотеке Ollama 15.11.2026 (теги по умолчанию, квантизованные версии):
| Модель | Параметров | Размер файла | Ориентир по памяти | Лицензия |
|---|---|---|---|---|
| Qwen3 8B | 8 млрд | 5,2 ГБ | 16 ГБ | Apache 2.0 |
| Qwen 3.5 9B | 9 млрд | 6,6–7,6 ГБ | 16 ГБ | Apache 2.0 |
| Gemma 4 12B | 12 млрд | 7,7–8,0 ГБ | 16 ГБ, впритык | Apache 2.0 |
| Qwen3 14B | 14 млрд | 9,3 ГБ | 16–24 ГБ | Apache 2.0 |
| gpt-oss 20B | 20 млрд | 14 ГБ | 24 ГБ | Apache 2.0 |
| Gemma 4 31B | 31 млрд | 19–20 ГБ | 32 ГБ | Apache 2.0 |
| Qwen3 32B | 32 млрд | 20 ГБ | 32 ГБ | Apache 2.0 |
| Llama 3.1 70B | 70 млрд | 43 ГБ | 64 ГБ | Llama 3.1 Community License |
Колонку «ориентир» мы рассчитали сами: файл модели должен занимать не больше двух третей памяти, остальное уходит на контекст, систему и браузер. Это правило практики, а не требование разработчиков.
Что важно знать про память:
- Mac с Apple Silicon использует общую память для процессора и графики, поэтому MacBook с 32 ГБ запускает модели, которым на ПК нужна дорогая видеокарта. LM Studio рекомендует для Mac от 16 ГБ, на 8 ГБ советует только маленькие модели и короткий контекст.
- ПК с Windows. LM Studio рекомендует от 16 ГБ оперативной памяти и от 4 ГБ видеопамяти. Если модель больше видеопамяти, она частично ляжет в оперативную и будет отвечать заметно медленнее.
- Контекст тоже ест память. По FAQ Ollama окно контекста по умолчанию 4096 токенов. Увеличить его можно переменной
OLLAMA_CONTEXT_LENGTH, но длинный контекст требует дополнительной памяти. Что такое контекстное окно, объяснено в статье что такое LLM.
Схема 1. Сначала память, потом размер модели, потом программа под задачу.
Какие открытые модели работают с русским
Коротко по моделям:
- GigaChat 3.1 Lightning (10B-A1.8B). Модель-«смесь экспертов» от Сбера: 10 млрд параметров всего, 1,8 млрд активных при генерации, поэтому работает быстро. На Hugging Face отмечены русский и английский языки, есть версия в формате GGUF, который понимают Ollama и LM Studio. Лицензия MIT. Флагман GigaChat 3.5 Ultra тоже открыт, но ему нужен кластер серверов; подробнее в статье про GigaChat.
- YandexGPT 5 Lite 8B Instruct. Контекст 32 тыс. токенов, есть GGUF-версия, в карточке прямо сказано, что её можно запускать в llama.cpp и Ollama. Чем модели Яндекса отличаются от Алисы AI в облаке, разобрано в статье про YandexGPT и Алису AI.
- Qwen 3.5 и Qwen3. Семейство Alibaba от 0,8 до 122 млрд параметров в Ollama. Qwen 3.5 мультимодальная (понимает изображения), окно до 262 144 токенов.
- Gemma 4 от Google. Размеры от E2B до 31B, в карточке заявлена поддержка более 140 языков, все версии в Ollama принимают текст и изображения.
- gpt-oss 20B от OpenAI. Открытая модель с рассуждением, 14 ГБ в Ollama. Русский в карточке отдельно не заявлен, проверяйте на своих текстах.
- T-pro 2.0 от Т-Технологий. Доработка Qwen3 32B для русского языка с гибридным рассуждением, около 33 млрд параметров, Apache 2.0. Квантизованные версии для Ollama и LM Studio есть на Hugging Face, но по памяти это уровень 32B. Llama 3.1 русский в списке официально поддерживаемых языков не указывает.
Если нужна модель для рассуждений и программирования, посмотрите также статью про DeepSeek: её младшие версии тоже есть в библиотеке Ollama.
Что разрешают лицензии
| Модель | Лицензия | Главное условие для бизнеса |
|---|---|---|
| Qwen 3.5, Qwen3, Gemma 4, gpt-oss, T-pro 2.0, Mistral Small 3.2 | Apache 2.0 | Коммерческое использование разрешено, нужно сохранить текст лицензии и уведомления |
| GigaChat 3.1 Lightning, GigaChat 3.5 | MIT | Коммерческое использование разрешено, нужно сохранить уведомление об авторских правах |
| Llama 3.1 | Llama 3.1 Community License | Подпись «Built with Llama» в продукте; модель, обученная на Llama, должна начинаться с «Llama»; при более 700 млн активных пользователей в месяц нужна отдельная лицензия Meta |
| YandexGPT 5 Lite 8B | Лицензия Яндекса | Коммерческое использование разрешено до 10 млн выходных токенов в месяц; после порога в течение 30 дней нужно связаться с Яндексом, иначе лицензия прекращается |
Для одного сайта или агентства порог Llama недостижим, а порог YandexGPT вполне реален при массовой генерации: 10 млн токенов это тысячи описаний товаров. Перед коммерческим проектом откройте файл LICENSE в репозитории модели: условия могут меняться от версии к версии.
Наши данные: что спрашивают о моделях на своём компьютере
Методика. Яндекс Wordstat, Россия, 30 дней, срез 14.11.2026. Спрос темы равен сумме точных частот 14 запросов группы.
| Показатель | Значение |
|---|---|
| Широкая частотность главного запроса | 4 605 |
| Точная частотность главного запроса | 217 |
| Спрос темы (сумма точных по 14 запросам) | 1 856 |
| Доля главной формулировки в спросе темы | 11,7% |
| Запросов про железо из 14 | 4 (видеокарта, сервер, компьютер, ПК) |
| Запросов про программы из 14 | 3 (llm studio, anything llm, «что такое llm студия») |
Что из этого следует:
- Точная формулировка собирает меньше 5% широкой частотности (217 из 4 605). Основной спрос в хвостах, и люди ищут не определение, а конкретику: что поставить и на каком железе.
- Треть запросов про оборудование. Поэтому таблица размеров и памяти стоит в статье раньше, чем обзор моделей.
- Ищут программы по названию, часто с ошибкой. «llm studio» вместо LM Studio и «anything llm» вместо AnythingLLM. Это сигнал: пользователь уже выбрал инструмент и хочет понять, как его запустить.
Для SEO-задач, где пригодится модель на своём компьютере (разметка запросов, черновики, классификация), есть отдельный разбор нейросетей для SEO.
Кому это не подходит
- Слабый ноутбук. На 8 ГБ поместятся только модели на 2–4 млрд параметров. Для редактуры и фактов их качества обычно мало.
- Нужен максимум качества. Модели на 8–14 млрд проигрывают флагманам. Сравнение облачных сервисов есть в статье ChatGPT, Claude, Gemini или DeepSeek.
- Командная работа. Десять человек на одном ноутбуке не поработают. Нужен сервер с видеокартами или облачный API, и это уже другая смета.
- Нужны свежие данные. Модель знает только то, что было в обучении, и не ищет в интернете. Для ответов по свежим фактам нужен поиск или ваши документы через RAG.
Если задача только исправить ошибки в тексте без отправки в облако, посмотрите статью об исправлении ошибок в тексте: часть проверок можно сделать вообще без модели.
Частые вопросы
Какую видеокарту выбрать для языковой модели?
Главный параметр видеопамять, а не модель карты. По нашему расчёту из размеров файлов, с 8 ГБ комфортно работают модели до 8 млрд параметров в сжатом виде, с 16 ГБ до 14 млрд, с 24 ГБ до 20–32 млрд с коротким контекстом. Если модель больше видеопамяти, она частично уйдёт в оперативную и будет медленнее.
Что такое LM Studio?
Бесплатная программа для Windows, macOS и Linux, которая скачивает открытые языковые модели и запускает их на вашем компьютере с интерфейсом чата. С июля 2025 года бесплатна и для коммерческого использования.
Какие модели лучше всего понимают русский?
Из российских открыты GigaChat 3.1 Lightning и YandexGPT 5 Lite 8B. Из зарубежных многоязычность заявлена у Qwen 3.5 и Gemma 4, а T-pro 2.0 это доработка Qwen3 под русский. Проверьте две-три модели на своих текстах: разница между ними зависит от задачи.
Можно ли запустить модель без видеокарты?
Да, на процессоре и оперативной памяти, но ответ будет печататься медленнее. На Mac с Apple Silicon видеокарта не нужна: общая память работает и для графики, поэтому Mac с 16–32 ГБ подходит хорошо.
Можно ли использовать открытую модель в коммерческом проекте?
Модели под Apache 2.0 и MIT (Qwen, Gemma 4, gpt-oss, GigaChat) можно. У Llama 3.1 нужна подпись «Built with Llama», у YandexGPT 5 Lite порог 10 млн выходных токенов в месяц. Перед запуском прочитайте LICENSE в репозитории модели.
Источники
- Ollama на GitHub: лицензия, установка, API
- Ollama FAQ: контекст, хранение моделей, команда ollama ps, приватность
- Ollama: совместимость с API OpenAI
- Библиотека моделей Ollama: размеры и версии
- LM Studio: системные требования
- LM Studio: бесплатно для работы с июля 2025 года
- AnythingLLM на GitHub: возможности и лицензия
- Карточка Qwen 3.5 9B: языки, контекст, лицензия
- Карточка Gemma 4 31B: языки и лицензия
- Карточка T-pro 2.0 на Hugging Face
- Карточка GigaChat 3.1 Lightning на Hugging Face
- Карточка YandexGPT 5 Lite 8B Instruct
- Лицензия YandexGPT 5 Lite: порог 10 млн токенов
- Лицензия Llama 3.1 Community License