К глоссарию
AIТермин

Top-p / Top-k

top-p sampling · nucleus sampling · top-k sampling · параметры сэмплирования

Top-p и Top-k — параметры сэмплирования LLM, ограничивающие пул токенов-кандидатов для генерации.

Top-p (nucleus sampling) и Top-k — это параметры, которые контролируют, из какого набора токенов модель выбирает следующий. Top-k ограничивает выбор k наиболее вероятными токенами. Top-p отбирает минимальное количество токенов, суммарная вероятность которых >= p (например, 0.95).

На практике эти параметры работают в связке с temperature. Я использую их редко — обычно дефолтные значения API (top-p=1, top-k отключён) дают нормальные результаты. Но если нужна тонкая настройка: для кодирования и структурированных задач снижаю top-p до 0.7–0.8, для creative writing оставляю на 1.

Главное понимать: если temperature=0, то top-p и top-k не влияют — при детерминированном выборе всегда берётся только самый вероятный токен. Эти параметры работают только когда есть случайность. Для большинства маркетинговых задач с LLM менять их не нужно — достаточно правильно написать промпт.

Разобраться на практике

Попробуйте, какие токены пропускает Top‑P

Top‑P ограничивает суммарную вероятность кандидатов. В модели ниже можно изменить порог и увидеть набор токенов и их вероятности после перенормировки.

Симулятор ядерной выборки

Условные вероятности пяти кандидатов · не вывод реальной модели

Двигайте ползунок: сохраняется минимальный набор кандидатов, суммарная вероятность которого достигает порога.

Кандидат A · выбран
47,06 %
Кандидат B · выбран
29,41 %
Кандидат C · выбран
23,53 %
Кандидат D · исключён
0 %
Кандидат E · исключён
0 %
КандидатДо отбораВ набореПосле отбора
A40 %Да47,06 %
B25 %Да29,41 %
C20 %Да23,53 %
D10 %Нет0 %
E5 %Нет0 %

В наборе 3 из 5 кандидатов. Сумма до перенормировки: 85 % при пороге 80 %.

Новая вероятность = исходная вероятность ÷ сумма вероятностей выбранного набора. Граничный кандидат остаётся в наборе, даже если сумма превышает p.

При p = 0,8 набор 40 + 25 + 20 = 85 %. Первому кандидату после перенормировки соответствует 40 ÷ 85 ≈ 47,06 %. Реальные вероятности зависят от модели и контекста.

Три разных регулятора

ПараметрЧто меняет
Top‑PРазмер набора по накопленной вероятности.
Top‑KМаксимальное число наиболее вероятных кандидатов.
TemperatureФорму распределения вероятностей до выбора.

Симулятор учебный. Распределение условное, не результат запроса к модели; доступность параметров зависит от конкретного API.

Источники и материалы

Связанные термины

Где разбирается на практике

Нужно настроить это на вашем проекте?

Разбираю метрики, считаю юнит-экономику и собираю воронки на реальных бюджетах. 30 минут на созвоне — бесплатно.