Выбор ответа Senior Активации и функции потерь обновлено
Температура softmax
Вопрос
Логиты делят на температуру T перед softmax. Что происходит при T → 0 и при большом T?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: T → 0: распределение стремится к one-hot на argmax; большое T: к равномерному. softmax(z/T): маленькое T усиливает разницу логитов, большое сглаживает.
Варианты ответа
- T → 0: распределение выравнивается к равномерному; большое T: стремится к one-hot
- Температура меняет порядок классов: при большом T редкие классы выходят вперёд
- Температура влияет только на скорость вычисления softmax, а не на вероятности
- T → 0: распределение стремится к one-hot на argmax; большое T: к равномерномуправильный ответ
Разбор
softmax(z/T): маленькое T усиливает разницу логитов, большое сглаживает. Применения: сэмплирование текста (низкая T детерминированнее), дистилляция (высокая T у учителя открывает «тёмные знания» о похожих классах), temperature scaling для калибровки. Порядок классов не меняется при T > 0.
- Направления перепутаны.
- Деление на положительное число сохраняет порядок.
- Скорость тут ни при чём.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.