Выбор ответа Middle Активации и функции потерь обновлено
GELU и SiLU
Вопрос
Какие активации стандартны в современных трансформерах и почему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: GELU и SiLU (Swish), часто как SwiGLU: гладкие, с ненулевым градиентом для отрицательных. GELU(x) = x·Φ(x), SiLU(x) = x·σ(x): похожи на ReLU, но гладкие и пропускают немного отрицательных значений.
Варианты ответа
- Сигмоида: она даёт вероятности активации нейронов и стабилизирует обучение внимания
- GELU и SiLU (Swish), часто как SwiGLU: гладкие, с ненулевым градиентом для отрицательныхправильный ответ
- Ступенчатая функция: она быстрая, а градиент через неё пропускают straight-through оценкой
- tanh, потому что она симметрична относительно нуля и не сдвигает среднее активаций в слоях
Разбор
GELU(x) = x·Φ(x), SiLU(x) = x·σ(x): похожи на ReLU, но гладкие и пропускают немного отрицательных значений. В современных LLM в MLP-блоке часто используют SwiGLU. Эмпирически это даёт лучшее качество.
- Сигмоида на скрытых слоях насыщается.
- Ступенчатая функция имеет нулевой градиент почти везде.
- tanh тоже насыщается.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.