Эволюция активаций
Вопрос
Расскажите, как менялись функции активации от сигмоиды до SwiGLU и чем каждая решала проблемы предыдущей.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Сигмоида и tanh: насыщение, затухание градиента, сигмоида не центрирована
ReLU: нет насыщения справа, дёшево, но мёртвые нейроны
LeakyReLU, ELU: ненулевой градиент слева
GELU, SiLU: гладкие, стандарт в трансформерах
Гейтированные (GLU, SwiGLU) в MLP-блоках LLM
Что могут спросить следом
- Почему tanh лучше сигмоиды в скрытых слоях?
- Сколько параметров добавляет SwiGLU по сравнению с обычным MLP?
Разбор
Сигмоида исторически первая: гладкая, но насыщается, производная не больше 0.25, и выход не центрирован в нуле, что замедляет обучение. tanh центрирована и с производной до 1, но тоже насыщается. ReLU решила проблему насыщения для положительных входов: градиент 1, вычисления дешёвые, активации разреженные, это открыло глубокие сети. Её минус в мёртвых нейронах, поэтому появились LeakyReLU и ELU с небольшим наклоном слева. В трансформерах закрепились гладкие GELU и SiLU: они близки к ReLU, но дифференцируемы и пропускают немного отрицательных значений. В современных LLM MLP-блок часто гейтированный: SwiGLU умножает SiLU одной проекции на другую линейную проекцию. Это добавляет третью матрицу, поэтому скрытую размерность обычно уменьшают, чтобы сохранить число параметров, а качество при том же бюджете растёт.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.