Выбор ответа Junior Инференс и генерация спрашивают часто обновлено
Что делает температура
Вопрос
Что произойдёт с распределением следующего токена, если снизить температуру с 1.0 до 0.2?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Распределение станет острее: лидер получит ещё большую долю, порядок не изменится. Логиты делятся на T перед softmax.
Варианты ответа
- Порядок токенов по вероятности поменяется, и редкие токены поднимутся наверх
- Модель начнёт отвечать короче, потому что температура ограничивает длину ответа
- Распределение станет острее: лидер получит ещё большую долю, порядок не изменитсяправильный ответ
- Модель перестанет учитывать системный промпт и будет опираться только на запрос
Разбор
Логиты делятся на T перед softmax. При T < 1 разница между логитами растёт, и вероятность концентрируется на лидерах; при T → 0 получается жадный выбор. Порядок токенов деление на положительное число не меняет. Длину ответа температура не задаёт, для этого max_tokens и стоп-последовательности. На обработку промпта температура не влияет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.