Top-p / Top-k

Top-p (nucleus sampling) и Top-k — это параметры, которые контролируют, из какого набора токенов модель выбирает следующий. Top-k ограничивает выбор k наиболее вероятными токенами. Top-p отбирает минимальное количество токенов, суммарная вероятность которых >= p (например, 0.95).

На практике эти параметры работают в связке с temperature. Я использую их редко — обычно дефолтные значения API (top-p=1, top-k отключён) дают нормальные результаты. Но если нужна тонкая настройка: для кодирования и структурированных задач снижаю top-p до 0.7–0.8, для creative writing оставляю на 1.

Главное понимать: если temperature=0, то top-p и top-k не влияют — при детерминированном выборе всегда берётся только самый вероятный токен. Эти параметры работают только когда есть случайность. Для большинства маркетинговых задач с LLM менять их не нужно — достаточно правильно написать промпт.