Температура запроса

TL;DR

Параметр temperature управляет степенью случайности при генерации текста: ниже — более предсказуемый ответ, выше — более вариативный.

Параметр temperature (температура) используется в моделях генерации текста, таких как LLM (Large Language Models), для управления степенью случайности в процессе генерации.

Функция:

• Низкие значения temperature (например, 0.1) приводят к более детерминированным и предсказуемым результатам, при которых модель выбирает наиболее вероятные слова.
• Высокие значения temperature (например, 1.0 и выше) увеличивают разнообразие и креативность генерируемого текста, позволяя модели делать более рискованные и неожиданные выборы.

Применение:

• 0–0.3 — для фактических, коротких, более детерминированных ответов.
• 0.4–0.7 — универсальный диапазон для большинства обычных задач.
• 0.8+ — для идей, вариантов формулировок, творческой генерации.

Gotchas

• Temperature не управляет «галлюцинациями» напрямую, а меняет степень случайности; при высоких значениях риск шумных или менее точных ответов может расти.
• Эффект зависит от конкретной модели.
• Temperature стоит рассматривать вместе с другими параметрами, например top_p.