Карточка Middle Как устроены LLM спрашивают часто обновлено
Query, key, value
Вопрос
Что означают query, key и value во внимании?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Для каждого токена считаются три проекции. Query: что токен ищет.
Ответ
Для каждого токена считаются три проекции. Query: что токен ищет. Key: по чему его находят другие. Value: что он передаёт. Вес связи i с j = softmax по j от q_i·k_j/√d_k, выход токена i: взвешенная сумма value.
Разбор
Для каждого токена считаются три проекции. Query: что токен ищет. Key: по чему его находят другие. Value: что он передаёт. Вес связи i с j = softmax по j от q_i·k_j/√d_k, выход токена i: взвешенная сумма value.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.