Temperature
Temperature — параметр от 0 до 2, контролирующий случайность ответов LLM: 0 — детерминированно, 2 — хаотично.
Temperature — это числовой параметр, который определяет, насколько «случайно» языковая модель выбирает следующее слово. При temperature=0 модель всегда выбирает наиболее вероятный токен — ответы повторяемые и предсказуемые. При temperature=1-2 модель чаще выбирает менее вероятные слова — ответы разнообразнее, но и ошибок больше.
В моей практике temperature=0 или близко к нему — для задач, где нужна точность: парсинг данных, структурированные извлечения, классификация. Temperature=0.7–0.9 — для копирайтинга и генерации вариантов: достаточно разнообразно, чтобы не скучно, достаточно связно, чтобы публиковать. Temperature>1 — только для экспериментов, на выходе обычно бред.
Важно понимать: temperature — не «креативность». Это степень случайности в сэмплировании. Настоящую «креативность» определяют обучающие данные и архитектура модели. Повышать temperature выше 1.2 при работе с API имеет смысл редко — обычно достаточно написать в промпте «предложи 5 нестандартных вариантов».