- Токен — кусочек текста, которым «думает» нейросеть: часть слова, слово целиком или знак препинания.
- Русский текст «стоит» больше токенов, чем английский: одно русское слово часто разбивается на несколько токенов.
- В подписке ChatGPT вы не платите за токены — у вас лимиты на сообщения. За токены платят в API.
Что такое токен
Нейросеть читает и пишет не буквами и не словами, а токенами — кусочками текста из своего словаря. Частое английское слово обычно один токен, редкое — два-три. В русском языке слова длиннее и меняют окончания, поэтому одно слово часто занимает два-четыре токена.
Примерно: страница русского текста (около 1 800 знаков) — это порядка тысячи токенов или больше. Точное число зависит от модели и самого текста.
Контекстное окно: сколько ChatGPT «помнит»
У каждой модели есть контекстное окно — сколько токенов она может держать в голове одновременно: ваш вопрос, всю переписку и загруженные файлы. Когда диалог становится слишком длинным, самые ранние сообщения начинают «выпадать» — ChatGPT забывает начало разговора.
Поэтому для новой задачи лучше начинать новый чат, а длинные документы — загружать файлом, а не вставлять кусками в десяток сообщений. В платных тарифах контекстное окно больше, чем в бесплатном.
Токены и лимиты подписки
В подписке ChatGPT (Free, Go, Plus, Pro) вы не видите токены и не платите за них. Но они влияют на лимиты косвенно: длинный диалог с большими файлами нагружает модель сильнее, и лимит расходуется быстрее. Как устроены лимиты — в статье «Лимиты ChatGPT».
Подписка или API
| Подписка ChatGPT | API OpenAI | |
|---|---|---|
| Как платите | Фиксированно в месяц | За каждый миллион токенов |
| Для кого | Для людей: чат, файлы, картинки, голос | Для разработчиков: свои программы и боты |
| Интерфейс | chatgpt.com и приложения | Нет, только код |
| Цена в GPTSubs | 1 990 ₽ за Plus | — |
Если вы не пишете свою программу, вам нужна подписка, а не API. Боты «ChatGPT» в Telegram, кстати, работают как раз через API — поэтому и считают ваши сообщения или токены (подробнее — «ChatGPT в Telegram»).
Частые вопросы
Что такое токен в ChatGPT?
Кусочек текста — часть слова, слово или знак, — которым нейросеть читает и пишет.
Сколько токенов в одном слове?
В английском — обычно один, в русском — чаще два-четыре.
Нужно ли платить за токены в ChatGPT Plus?
Нет. В подписке фиксированная цена и лимиты на сообщения, токены не считаются.
Что такое контекстное окно?
Сколько токенов модель держит в памяти одновременно: вопрос, переписку и файлы.
Почему ChatGPT забывает начало разговора?
Переписка не помещается в контекстное окно. Начните новый чат для новой задачи.