Обзор генеративных моделей
Вопрос
Кратко сравните основные семейства генеративных моделей: автоэнкодеры и VAE, GAN, диффузию, авторегрессионные модели.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
VAE: латентное пространство, ELBO, стабильно, но размыто
GAN: генератор против дискриминатора, резко, но нестабильно, mode collapse
Диффузия: обучение предсказывать шум, высокое качество, медленная генерация
Авторегрессионные: токен за токеном, стандарт для текста, KV-кеш
Где используются сейчас: латентная диффузия для картинок, трансформеры для текста
Что могут спросить следом
- Что такое латентная диффузия и зачем там автоэнкодер?
- Как ускоряют генерацию диффузионных моделей?
Разбор
VAE учит кодировщик в распределение латентов и декодер обратно, потеря это реконструкция плюс KL до нормального приора. Обучение стабильное, латентное пространство гладкое, но картинки получаются размытыми. GAN устраивает игру генератора и дискриминатора: картинки резкие, генерация за один проход, но обучение капризное и страдает от mode collapse. Диффузионные модели учатся предсказывать добавленный шум и генерируют, многократно убирая его; обучение стабильное, качество и разнообразие высокие, а генерация медленнее, хотя её ускоряют лучшими сэмплерами и дистилляцией. Сейчас для картинок стандарт латентная диффузия: она работает в сжатом пространстве автоэнкодера, а текстовое условие подаётся через cross-attention. Авторегрессионные модели раскладывают вероятность в произведение условных и генерируют по токену; это основа языковых моделей.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.