MoreSEOОб авторе

Токены в нейросетях: что это, как считаются и сколько стоят

Как модель режет текст на части, почему русский стоит дороже английского, что входит в контекстное окно и как заранее посчитать расход и цену запроса.

Обновлено 15 ноября 2026
10 мин. чтения
Обложка: текст, разрезанный на токеныДлинная строка текста разрезана ножницами на цветные фрагменты разной длины, фрагменты падают в контейнер со шкалой заполнения и стопку монет

Токен это единица текста, на которую языковая модель режет ваш запрос перед обработкой. Токен может быть целым словом, его частью или одним символом. Модель не видит букв: она получает номера токенов из своего словаря и предсказывает следующий номер. Поэтому в токенах измеряют всё, что важно на практике: сколько текста влезет в один запрос, какой длины может быть ответ и сколько вы заплатите по API.

Коротко

  • OpenAI даёт правило для английского: 1 токен примерно 4 символа или три четверти слова. Для русского текста это правило не работает.
  • В нашем замере статья на 14 303 символа заняла 6 404 токена в словаре cl100k_base (GPT-4) и 4 074 токена в o200k_base (GPT-4o и новее): на 36% меньше.
  • В документации Yandex AI Studio русский текст из 517 символов у YandexGPT Pro дал 5,39 символа на токен: токенизатор Яндекса оптимизирован под русский.
  • Контекстное окно включает и запрос, и ответ. У Anthropic в него входят ещё системный промпт, описания инструментов и токены рассуждений.
  • Посчитать токены можно бесплатно: Tokenizer в Yandex AI Studio, POST /tokens/count в GigaChat, count_tokens у Anthropic, библиотека tiktoken у OpenAI.

Как модель режет текст на токены

Текст режет токенизатор: отдельная программа со словарём из десятков или сотен тысяч частей слов. Частые слова и сочетания попадают в словарь целиком, редкие собираются из нескольких кусков. Каждый кусок получает номер, и дальше модель работает только с номерами.

Большинство современных моделей используют вариант алгоритма BPE (byte pair encoding, кодирование парами байтов). Для обработки текста нейросетями его предложили Рико Сеннрих и соавторы в 2015 году, чтобы переводчик справлялся с редкими словами: слово, которого нет в словаре, разбивается на знакомые части (arXiv: Neural Machine Translation of Rare Words with Subword Units). Словарь строят на обучающих текстах: самые частые пары символов склеивают в новый элемент и повторяют, пока словарь не вырастет до нужного размера.

Отсюда главное свойство: чем чаще последовательность встречалась при обучении токенизатора, тем короче она кодируется. Английское «token» в словарях OpenAI это один токен. Русское «токен» в тех же словарях режется на три: «т», «ок», «ен».

Путь текста через языковую модельФраза делится токенизатором на части, части получают номера, номера занимают место в контекстном окне вместе с инструкциями, историей и ответом, по сумме входящих и исходящих токенов считается цена Токен: единица обработки, памяти и оплаты 1. Текст «Токены в нейросети» 18 символов, 7 токенов 2. Токенизатор Т | ок | ены | в | ней | рос | ети 3. Номера каждая часть получает номер из словаря o200k 4. Контекстное окно модели инструкции и инструменты история диалога ваш запрос ответ и рассуждения 5. Цена входящие токены + исходящие токены по тарифу за 1 000 Разрез на части у каждой модели свой: один текст даёт разное число токенов
Путь текста через языковую модель: исходная фраза, токенизатор делит её на части, части получают номера, номера занимают место в контекстном окне вместе с ответом, по числу токенов считается цена

Схема 1. Токен одновременно единица обработки, единица памяти модели и единица оплаты.

Как токены превращаются в векторы, разобрано в статье про эмбеддинги, а весь цикл генерации описан в материале что такое LLM.

Сколько символов в одном токене

Фиксированного соотношения нет: оно зависит от модели и языка. Для английского ориентир около 4 символов на токен. Для русского у моделей OpenAI выходит от 2,2 до 3,5 символа, у модели Яндекса в примере из документации 5,4 символа. Точное число даёт только токенизатор той модели, которой вы будете пользоваться.

Что говорят сами разработчики:

  • OpenAI. В справке приводится правило для английского текста: 1 токен примерно 4 символа, или 3/4 слова. Там же сказано, что для других языков соотношение хуже и работа через API обходится дороже (OpenAI Help: What are tokens).
  • Anthropic. У прежних моделей Claude токен в среднем соответствовал примерно 3,5 английского символа. Начиная с Claude 4.7 используется новый токенизатор, который даёт примерно на 30% больше токенов на тот же текст (Glossary, Claude Docs).
  • Сбер. В документации GigaChat: «в среднем один токен состоит из 3–4 символов» (GigaChat: квоты и ограничения).
  • Яндекс. Каждая модель использует свой токенизатор, а токенизатор Яндекса «специально оптимизирован» под русский язык. В примере из документации русский текст на 517 символов дал 5,39 символа на токен у YandexGPT Pro и 4,04 у DeepSeek V4.1 Flash (Yandex AI Studio: токены).

Вывод: сравнивая цены за 1 000 токенов, сравнивайте и токенизаторы. Дешёвая модель с «дробным» словарём для русского может выйти дороже на том же тексте.

Наши данные: замер на русском и английском тексте

Методика. Библиотека tiktoken 0.12.0 от OpenAI, два словаря: cl100k_base (в библиотеке закреплён за GPT-4 и GPT-3.5) и o200k_base (GPT-4o, GPT-4.1, GPT-5). Тексты: абзац о токенах на русском и его английский перевод; полный текст статьи блога MoreSEO о контент-плане без разметки. Замер 15.11.2026.

ТекстСимволовТокенов, cl100k_baseТокенов, o200k_baseСимволов на токен (cl100k / o200k)
Абзац на английском24149494,92 / 4,92
Тот же абзац на русском21094592,23 / 3,56
Статья на русском, 2 110 слов14 3036 4044 0742,23 / 3,51

Что видно из замера:

  • Русский дороже по токенам. Один и тот же смысл на русском занял в 1,9 раза больше токенов, чем на английском, в старом словаре и в 1,2 раза больше в новом, хотя символов в русском варианте меньше.
  • Новый словарь заметно экономнее. Переход с cl100k_base на o200k_base сократил русскую статью с 6 404 до 4 074 токенов, это минус 36%. В новом словаре 200 019 элементов против 100 277 в старом, поэтому больше русских слов и их частей кодируются одним токеном.
  • На слово уходит 2–3 токена. В старом словаре 3,04 токена на русское слово, в новом 1,93. Правило «токен равен трём четвертям слова» для русского текста ошибается в 2–4 раза.
  • Как режется «нейросеть». В cl100k_base слово делится на пять частей: «н», «ей», «рос», «ет», «ь». В o200k_base на три: «ней», «рос», «еть». Английское «token» в обоих словарях остаётся одним токеном.

Спрос по теме небольшой: дословную формулировку «токен это в нейросети это часть текста» вводят 15 раз в месяц при широкой частотности 194, то есть точная фраза даёт 7,7% хвоста (Wordstat, Россия, 30 дней, срез 14.11.2026). Чаще вопрос о токенах всплывает внутри брендовых запросов: например, «гигачат токены» входит в группу тем о тарифах GigaChat.

Что такое контекстное окно и что в него входит

Контекстное окно это максимальное число токенов, которое модель учитывает за один запрос. В него входят не только ваше сообщение, но и вся история диалога, системные инструкции, вложения и сам ответ модели. Если сумма не влезает, запрос либо отклоняется, либо ответ обрывается.

Anthropic формулирует это прямо: окно включает «весь текст, на который модель может опереться при генерации ответа, включая сам ответ». В расчёт идут системный промпт, все сообщения с результатами инструментов, изображениями и документами, описания инструментов и токены рассуждений (Context windows, Claude Docs). Если вход уже больше окна, API возвращает ошибку 400 «prompt is too long».

Размеры окон на 15.11.2026:

  • текущие модели Claude: 1 млн токенов, до 128 тыс. токенов ответа за один запрос (там же);
  • Alice AI LLM в Yandex AI Studio: 131 072 токена, YandexGPT Pro 5.1: 32 768 (Yandex AI Studio: модели).

Большое окно не значит, что модель одинаково хорошо помнит всё, что в нём лежит. В документации Anthropic отдельно сказано: с ростом числа токенов точность и полнота извлечения падают, и этот эффект называют context rot. Поэтому длинный документ полезнее не загружать целиком, а подавать нужные фрагменты. На этом построен подход RAG: модель получает только относящиеся к вопросу куски из базы знаний.

Как считается цена за токены

По API платят отдельно за входящие токены (ваш запрос с историей и инструкциями) и за исходящие (ответ модели). Цены указывают за 1 000 или за 1 млн токенов. Исходящие часто дороже, а токены рассуждений у моделей с режимом размышления оплачиваются как исходящие.

Пример цен российских провайдеров на 15.11.2026, рубли за 1 000 токенов с НДС:

МодельВходВыходИсточник
GigaChat Lite (юрлица, по факту)0,0650,065тарифы Сбера; минимальный платёж 600 ₽ в месяц
GigaChat Max (юрлица, по факту)0,650,65тарифы Сбера
YandexGPT Lite0,20,2тарифы Yandex AI Studio
Alice AI LLM0,51,2тарифы Yandex AI Studio

Источники: тарифы GigaChat API для юрлиц (страница обновлена 07.10.2026) и тарифы Yandex AI Studio. У Сбера одна цена без разделения на вход и выход. Асинхронный режим у обоих дешевле. Подробно о подключении, ключах и шлюзах написано в статье про API нейросетей.

Как прикинуть цену одной задачи. Допустим, вы генерируете статью на 14 000 символов. При 3–4 символах на токен (ориентир Сбера) это примерно 3 500–4 700 исходящих токенов. На GigaChat Lite такой ответ стоит около 0,3 ₽. По той же оценке Alice AI LLM даст 4–6 ₽, а на деле, вероятно, меньше: в примере из документации Яндекса на один токен приходится больше русских символов. К этому добавьте вход: промпт, бриф, вставленные источники. Длинный документ в каждом запросе легко делает вход дороже выхода.

Что ещё влияет на счёт:

  • История диалога. С каждым сообщением модель заново получает всю переписку, и вы снова платите за неё как за вход.
  • Кеширование. Повторяющееся начало запроса провайдеры кешируют, у Яндекса для таких токенов отдельная строка тарифа, но кеширование «не гарантируется».
  • Рассуждения. У Anthropic токены размышления входят в max_tokens и оплачиваются как исходящие.

Как посчитать токены до отправки запроса

Самый точный способ: спросить токенизатор той же модели. У большинства провайдеров для этого есть бесплатный метод API, а после каждого ответа число потраченных токенов приходит в поле usage. Формулы вида «символы делить на четыре» годятся только для грубой оценки английского текста.
ЧтоКогда подходитЧем платитеПочему важно
Tokenizer в Yandex AI StudioРаботаете с моделями ЯндексаНичего: вызовы токенизатора не тарифицируются, нужна роль ai.languageModels.userСчитает именно тем словарём, по которому будет счёт
POST /tokens/count в GigaChat APIОцениваете расход у СбераВремя на интеграциюСоотношение 3–4 символа на токен у Сбера только среднее
count_tokens у AnthropicClaude, длинные промпты, инструменты, PDFБесплатно, но с лимитом запросов в минуту; результат оценочныйУчитывает системный промпт, инструменты и изображения
Библиотека tiktokenМодели OpenAI, офлайн-подсчёт больших объёмовУстановка Python-библиотекиРаботает без сети после загрузки словаря, удобно для пакетов текстов
Поле usage в ответеЛюбой провайдер, контроль фактического расходаНичего, но узнаёте уже после запросаЕдинственная цифра, которая совпадает со счётом

Anthropic отдельно предупреждает: при переходе на модель с новым токенизатором старые подсчёты не годятся, промпт нужно пересчитать (Token counting, Claude Docs).

Токены не равны символам из счётчиков для копирайтеров. Если заказчик считает текст в знаках, используйте подсчёт символов, а для бюджета API пересчитывайте токенизатором.

Как тратить меньше токенов

Сокращайте вход: убирайте из промпта повторы, не передавайте весь документ ради одного абзаца, начинайте новый диалог вместо бесконечной ветки. Ограничивайте длину ответа параметром max_tokens. Для массовых задач выбирайте модель с токенизатором, удобным для русского, и асинхронный режим.
  • Короткая постоянная инструкция. Системный промпт повторяется в каждом запросе: сократив его с 2 000 до 500 токенов, вы убираете 1 500 токенов из каждого вызова.
  • Фрагменты вместо документов. Меньше лишнего в контексте, меньше и счёт, и ошибок.
  • Явный объём ответа. «Ответь в пяти пунктах» экономит выход, а max_tokens страхует от слишком длинного ответа.

Как формулировать короткие и точные запросы, разобрано в статье что такое промпт. Если хочется не платить за токены вовсе, посмотрите локальные LLM: там токены тоже есть, но расплачиваетесь вы памятью и временем своего компьютера.

Кому это не нужно

Если вы пользуетесь нейросетью только в чате по подписке, считать токены почти не нужно: тариф фиксированный, а лимиты сервис показывает сам. Подсчёт важен тем, кто платит по API, строит автоматизацию или загружает в модель длинные документы.

Достаточно знать одно: очень длинная переписка «забывается», поэтому под новую задачу начинайте новый диалог. А при выборе модели для текстов качество важнее цены токена: прогоните свои задания через 2–3 модели, как в статье ChatGPT, Claude, Gemini или DeepSeek.

Частые вопросы

Токен это слово или часть слова?

Чаще всего часть слова. Короткие частые слова могут быть одним токеном, длинные и редкие делятся на несколько частей, пробелы и знаки препинания тоже кодируются. В нашем замере русское слово в среднем занимало 2–3 токена в зависимости от словаря.

Сколько токенов в 1 000 символов русского текста?

Зависит от модели. В словаре o200k_base у OpenAI около 285 токенов (3,51 символа на токен), в старом cl100k_base около 450. У YandexGPT Pro в примере из документации около 185. Точное число покажет токенизатор выбранной модели.

Почему русский текст стоит дороже английского?

Токенизаторы обучают на текстах, где английского больше, поэтому английские слова чаще попадают в словарь целиком, а русские режутся на части. Один и тот же смысл на русском даёт больше токенов, а платите вы именно за токены. У российских моделей словари оптимизированы под русский, и разрыв меньше.

Входит ли ответ модели в контекстное окно?

Да. Окно включает весь запрос с историей и инструкциями плюс сгенерированный ответ, а у моделей с размышлением ещё и токены рассуждений.

Где бесплатно посчитать токены?

Tokenizer в Yandex AI Studio и подсчёт токенов у Anthropic бесплатны, у GigaChat есть метод POST /tokens/count, для моделей OpenAI подойдёт открытая библиотека tiktoken. Фактический расход любой провайдер возвращает в поле usage ответа.

Источники

Частный SEO-специалист. Пишу про поиск и нейропоиск, а цифры беру из Wordstat и первоисточников.

Читайте также

© MoreSEO, Алексей Демкин · все статьи