Выбор ответа Junior Генеративные модели обновлено
Авторегрессионная генерация
Вопрос
Как генерирует текст decoder-only языковая модель?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: По токену: предсказывает распределение следующего, выбирает токен, добавляет к контексту. P(x) = Π P(xₜ x<ₜ).
Варианты ответа
- Генерирует весь текст за один проход параллельно, а потом исправляет ошибки вторым проходом
- Удаляет шум из случайной последовательности токенов за фиксированное число шагов
- Выбирает готовый ответ из базы обучающих текстов по сходству с запросом
- По токену: предсказывает распределение следующего, выбирает токен, добавляет к контекступравильный ответ
Разбор
P(x) = Π P(xₜ | x<ₜ). Стратегия декодирования сильно влияет на результат: жадный выбор и beam search склонны к повторам, сэмплирование с температурой и top-p даёт разнообразие. KV-кеш ускоряет пошаговую генерацию.
- Параллельно генерируют неавторегрессионные модели, и это другой класс.
- Шум удаляет диффузия.
- Выбор из базы это поиск.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.