Токены

Токен — минимальная единица, которой LLM «видит» текст. Это не буква и не слово, а кусок: для английского — примерно 0,75 слова на токен, для русского хуже — кириллица дробится мельче, так что русский текст забирает токенов заметно больше.

Зачем маркетологу это знать. Во-первых, биллинг: API-модели тарифицируются за токены ввода и вывода. Во-вторых, контекстное окно тоже измеряется в токенах — длинный русский промпт занимает его быстрее, чем кажется.

Практический вывод: если гоняешь объёмы через API, считай токены заранее. У меня за квартал через Veo и текстовые модели набегали реальные суммы — понимание токенов помогает не удивляться счёту.