Выбор ответа Junior Attention и трансформеры спрашивают часто обновлено
Формула attention
Вопрос
Как вычисляется scaled dot-product attention?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: softmax(QKᵀ / √dk)·V. Скалярные произведения запросов и ключей дают оценки похожести, деление на √dk не даёт им расти с размерностью, softmax по ключам превращает их в веса, и выход это взвешенная сумма значений. - Сумма Q и K не измеряет похожесть. - Без…
Варианты ответа
- softmax(QKᵀ / √d_k)·Vправильный ответ
- softmax(QKᵀ·√d_k)·V
- QKᵀV без softmax
- softmax(QVᵀ / √d_k)·K
Разбор
Скалярные произведения запросов и ключей дают оценки похожести, деление на √d_k не даёт им расти с размерностью, softmax по ключам превращает их в веса, и выход это взвешенная сумма значений.
- Сумма Q и K не измеряет похожесть.
- Без softmax веса не нормированы.
- Умножение на √d_k вместо деления раздувает логиты. Роли K и V в последнем варианте перепутаны.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.