Top-p / Top-k
Top-p и Top-k — параметры сэмплирования LLM, ограничивающие пул токенов-кандидатов для генерации.
Top-p (nucleus sampling) и Top-k — это параметры, которые контролируют, из какого набора токенов модель выбирает следующий. Top-k ограничивает выбор k наиболее вероятными токенами. Top-p отбирает минимальное количество токенов, суммарная вероятность которых >= p (например, 0.95).
На практике эти параметры работают в связке с temperature. Я использую их редко — обычно дефолтные значения API (top-p=1, top-k отключён) дают нормальные результаты. Но если нужна тонкая настройка: для кодирования и структурированных задач снижаю top-p до 0.7–0.8, для creative writing оставляю на 1.
Главное понимать: если temperature=0, то top-p и top-k не влияют — при детерминированном выборе всегда берётся только самый вероятный токен. Эти параметры работают только когда есть случайность. Для большинства маркетинговых задач с LLM менять их не нужно — достаточно правильно написать промпт.
Разобраться на практике
Попробуйте, какие токены пропускает Top‑P
Top‑P ограничивает суммарную вероятность кандидатов. В модели ниже можно изменить порог и увидеть набор токенов и их вероятности после перенормировки.
Симулятор ядерной выборки
Условные вероятности пяти кандидатов · не вывод реальной модели
Двигайте ползунок: сохраняется минимальный набор кандидатов, суммарная вероятность которого достигает порога.
| Кандидат | До отбора | В наборе | После отбора |
|---|---|---|---|
| A | 40 % | Да | 47,06 % |
| B | 25 % | Да | 29,41 % |
| C | 20 % | Да | 23,53 % |
| D | 10 % | Нет | 0 % |
| E | 5 % | Нет | 0 % |
В наборе 3 из 5 кандидатов. Сумма до перенормировки: 85 % при пороге 80 %.
Новая вероятность = исходная вероятность ÷ сумма вероятностей выбранного набора. Граничный кандидат остаётся в наборе, даже если сумма превышает p.
При p = 0,8 набор 40 + 25 + 20 = 85 %. Первому кандидату после перенормировки соответствует 40 ÷ 85 ≈ 47,06 %. Реальные вероятности зависят от модели и контекста.
Три разных регулятора
| Параметр | Что меняет |
|---|---|
| Top‑P | Размер набора по накопленной вероятности. |
| Top‑K | Максимальное число наиболее вероятных кандидатов. |
| Temperature | Форму распределения вероятностей до выбора. |
Связанные термины
Где разбирается на практике
Нужно настроить это на вашем проекте?
Разбираю метрики, считаю юнит-экономику и собираю воронки на реальных бюджетах. 30 минут на созвоне — бесплатно.