Cross-attention
Вопрос
Чем cross-attention отличается от self-attention?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
В self-attention Q, K и V берутся из одной последовательности. В cross-attention запросы из одной (декодер), а ключи и значения из другой (выход кодировщика, картинка, текст-условие). Так декодер перевода смотрит на исходное предложение, а диффузионная модель на промпт.
Разбор
В self-attention Q, K и V берутся из одной последовательности. В cross-attention запросы из одной (декодер), а ключи и значения из другой (выход кодировщика, картинка, текст-условие). Так декодер перевода смотрит на исходное предложение, а диффузионная модель на промпт.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.