Выбор ответа Middle Как устроены LLM спрашивают часто обновлено
Почему длинный контекст дорог
Вопрос
Почему удвоение длины контекста в стандартном трансформере больше чем удваивает стоимость внимания?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Каждый токен сравнивается со всеми предыдущими, число пар растёт квадратично. Матрица внимания имеет размер n на n: при удвоении длины число пар растёт в 4 раза.
Варианты ответа
- Длинный контекст требует загрузить вторую копию весов модели в память
- Токенайзер BPE работает квадратично от длины текста при слиянии пар
- После половины окна модель переключается на более медленный и точный режим внимания
- Каждый токен сравнивается со всеми предыдущими, число пар растёт квадратичноправильный ответ
Разбор
Матрица внимания имеет размер n на n: при удвоении длины число пар растёт в 4 раза. MLP-блоки растут линейно, поэтому общая стоимость растёт между линейной и квадратичной, но внимание доминирует на длинных контекстах. Веса не дублируются. Токенизация линейна. Особого режима после половины окна нет.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.