Температура, top-k и top-p
Вопрос
Объясните, как температура, top-k и top-p влияют на ответ модели, и как вы выбираете их под задачу.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Температура масштабирует логиты перед softmax, порядок не меняет
Низкая температура: стабильно и однообразно, высокая: разнообразно и рискованно
Top-k оставляет k лучших токенов, фиксированно
Top-p оставляет минимальное ядро с суммарной вероятностью p, адаптивно
Для извлечения и JSON низкая температура, для креатива выше
Даже T = 0 не гарантирует полного детерминизма у провайдера
Что могут спросить следом
- Почему не стоит одновременно сильно крутить и температуру, и top-p?
- Как добиться воспроизводимости в тестах?
Разбор
Образцовый ответ: «Модель выдаёт логиты, их делят на температуру и прогоняют через softmax. Температура меньше единицы делает распределение острее, при нуле получается жадный выбор; больше единицы поднимает хвост. Порядок токенов она не меняет. Top-k оставляет k лучших кандидатов независимо от уверенности модели. Top-p оставляет минимальный набор, чья сумма вероятностей не меньше p, поэтому подстраивается: при уверенности это пара токенов, при сомнении сотни. Для извлечения данных, классификации и JSON ставлю температуру около нуля, для генерации идей или текстов 0.7-1. Обычно кручу что-то одно, потому что оба механизма режут хвост. И помню, что даже при нуле ответы провайдера могут чуть отличаться из-за батчинга, поэтому в тестах сравниваю не побитово, а по смыслу или схеме».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.