Карточка Junior Генеративные модели обновлено
Top-p и температура
Вопрос
Что такое temperature и top-p при генерации текста?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Температура делит логиты перед softmax: меньше значит увереннее и скучнее, больше значит разнообразнее и рискованнее. Top-p (nucleus) оставляет минимальный набор самых вероятных токенов с суммарной вероятностью p и сэмплирует из него.
Ответ
Температура делит логиты перед softmax: меньше значит увереннее и скучнее, больше значит разнообразнее и рискованнее. Top-p (nucleus) оставляет минимальный набор самых вероятных токенов с суммарной вероятностью p и сэмплирует из него.
Разбор
Температура делит логиты перед softmax: меньше значит увереннее и скучнее, больше значит разнообразнее и рискованнее. Top-p (nucleus) оставляет минимальный набор самых вероятных токенов с суммарной вероятностью p и сэмплирует из него.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.