Выбор ответа Middle Attention и трансформеры обновлено
Зачем несколько голов
Вопрос
Зачем multi-head attention, а не одна голова той же суммарной размерности?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Головы смотрят на разные подпространства и типы связей, а стоимость та же. dmodel делится на h голов по dmodel/h.
Варианты ответа
- Чтобы увеличить число параметров attention в h раз при той же размерности
- Каждая голова обрабатывает свой токен, и число голов равно длине контекста
- Головы нужны для разных языков: каждая специализируется на своём словаре
- Головы смотрят на разные подпространства и типы связей, а стоимость та жеправильный ответ
Разбор
d_model делится на h голов по d_model/h. Каждая голова имеет свои проекции Q, K, V и своё распределение внимания, затем выходы конкатенируются и проецируются. Одна голова усредняла бы разные виды связей в одно распределение.
- Параметров столько же, сколько у одной головы полной размерности.
- Все головы обрабатывают все токены.
- С языками головы не связаны.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.