Для большинства DS и ML-вакансий достаточно понимать идеи генеративных моделей, их сильные и слабые стороны. Детальные вопросы про языковые модели живут в треке про LLM.
Автоэнкодер
Кодировщик сжимает вход в латентный вектор, декодер восстанавливает. Потеря это ошибка реконструкции. Применения: снижение размерности, шумоподавление, поиск аномалий. Генерировать новое плохо: латентное пространство не организовано.
VAE
Кодировщик выдаёт распределение N(μ, σ²), латент сэмплируется через репараметризацию:
z = μ + σ·ε, ε ~ N(0, I)
Случайность вынесена в ε, поэтому градиент проходит в μ и σ. Потеря (отрицательный ELBO):
L = реконструкция + KL(N(μ, σ²) ‖ N(0, I))
KL = -0.5 · Σ(1 + log σ² - μ² - σ²)
KL делает латентное пространство гладким, и случайный z из N(0, I) декодируется в правдоподобный объект. Минус классических VAE: размытые картинки.
GAN
Генератор делает объекты из шума, дискриминатор отличает их от настоящих, генератор учится его обманывать. Картинки резкие, генерация за один проход. Минусы: нестабильное обучение, mode collapse (однообразные объекты), чувствительность к гиперпараметрам.
Диффузия
Прямой процесс постепенно зашумляет картинку до чистого шума. Сеть учится по зашумлённой картинке и уровню шума t предсказывать добавленный шум (MSE). Генерация повторяет шаги удаления шума от чистого шума.
- Обучение стабильное, хорошее покрытие разнообразия, высокое качество.
- Генерация многошаговая и медленная; ускоряют сэмплерами, дистилляцией в несколько шагов, flow matching.
- Латентная диффузия работает в сжатом пространстве автоэнкодера.
- Текстовое условие подаётся через cross-attention; classifier-free guidance усиливает соответствие промпту.
Авторегрессионные модели
Вероятность раскладывается в произведение условных: P(x) = Π P(xₜ | x<ₜ). Генерация по одному токену: распределение следующего, выбор (жадно, температура, top-p), добавление к контексту. Основа языковых моделей.
Как оценивать
- Картинки: FID (сравнение распределений признаков предобученной сети), CLIP score для соответствия тексту.
- Текст: перплексия, наборы задач, попарные сравнения, модель-оценщик с оговорками о её смещениях.
- Финальный арбитр люди. Отдельно проверяют запоминание обучающих данных и безопасность.
Частые ошибки
- Путать VAE и обычный автоэнкодер.
- Говорить, что диффузия генерирует за один шаг.
- Не знать, зачем репараметризация.
Что спросят на собесе
- Чем VAE отличается от автоэнкодера, что такое ELBO и репараметризация.
- Как обучается GAN, что такое mode collapse.
- Идея диффузии и почему она вытеснила GAN.
- Как оценивать генеративные модели.