Выбор ответа Junior Инференс и генерация спрашивают часто обновлено
Top-p (nucleus sampling)
Вопрос
Вероятности токенов: A 0.5, B 0.3, C 0.15, D 0.05. Какие токены останутся кандидатами при top-p = 0.8?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: A и B. Top-p берёт самые вероятные токены по убыванию, пока накопленная сумма не достигнет p.
Варианты ответа
- A и Bправильный ответ
- Только A
- A, B и C
- Все четыре, top-p только перенормирует вероятности
Разбор
Top-p берёт самые вероятные токены по убыванию, пока накопленная сумма не достигнет p. A даёт 0.5, A и B дают 0.8, порог достигнут, набор готов. Только A даёт 0.5, это меньше 0.8. C лишний: порог уже достигнут. Отсечение хвоста и есть смысл top-p, перенормировка идёт уже после отсечения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.