Блок трансформера
Вопрос
Из чего состоит блок трансформера?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Multi-head self-attention и позиционно-независимый MLP (обычно расширение в 4 раза или SwiGLU), каждый с residual-связью и нормализацией (в современных моделях pre-norm, RMSNorm). В декодере attention с причинной маской, в encoder-decoder ещё cross-attention к выходу кодировщика.
Разбор
Multi-head self-attention и позиционно-независимый MLP (обычно расширение в 4 раза или SwiGLU), каждый с residual-связью и нормализацией (в современных моделях pre-norm, RMSNorm). В декодере attention с причинной маской, в encoder-decoder ещё cross-attention к выходу кодировщика.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.