Вопросы по Глубокое обучение
От нейрона и обратного распространения до attention, fine-tuning, квантования и цикла обучения на PyTorch. Готовит к DL-секции собеса DS и ML-инженера: объяснить механизм, посчитать руками и найти баг в коде обучения.
Проверьте себя: тест по глубокому обучению
20 вопросов, 10 минут, уровень junior, middle или senior
Нейрон и backprop
Нейрон, многослойный перцептрон, прямой и обратный проход, градиенты по весам слоя.
Урок: Нейрон, MLP и backprop за 7 минут 7 минАктивации и функции потерь
ReLU, GELU, сигмоида, softmax, кросс-энтропия, MSE и устойчивые вычисления из логитов.
Урок: Активации и функции потерь за 6 минут 6 минИнициализация и нормализация
Xavier и He, затухание и взрыв градиентов, BatchNorm, LayerNorm, RMSNorm, residual-связи.
Урок: Инициализация, нормализация и residual за 7 минут 7 минОптимизаторы и обучение
SGD, Adam и AdamW на практике, расписания lr, gradient clipping, накопление градиентов, mixed precision.
Урок: Оптимизаторы и практика обучения за 7 минут 7 минРегуляризация
Dropout, weight decay, аугментации, early stopping, label smoothing и как диагностировать переобучение.
Урок: Регуляризация нейросетей за 6 минут 6 минСвёрточные сети
Свёртка, каналы, stride, padding, пулинг, рецептивное поле, ResNet и современные архитектуры.
Урок: Свёрточные сети за 7 минут 7 минRNN и LSTM
Рекуррентные сети, обратное распространение во времени, затухание, LSTM и GRU, почему их вытеснили трансформеры.
Урок: RNN, LSTM и GRU за 6 минут 6 минAttention и трансформеры
Scaled dot-product attention, multi-head, маски, позиционное кодирование, encoder и decoder, KV-кеш и сложность.
Урок: Attention и трансформеры за 8 минут 8 минЭмбеддинги и fine-tuning
Эмбеддинги слов и предложений, контрастивное обучение, transfer learning, заморозка слоёв, LoRA.
Урок: Эмбеддинги, transfer learning и LoRA за 7 минут 7 минГенеративные модели
Автоэнкодеры, VAE, GAN, диффузионные модели и авторегрессионные языковые модели кратко.
Урок: Генеративные модели кратко за 6 минут 6 минPyTorch на практике
Тензоры, autograd, nn.Module, DataLoader, цикл обучения и валидации, GPU, память и типичные баги.
Урок: PyTorch на практике за 8 минут 8 минКвантование и дистилляция
Память модели, fp16 и bf16, квантование int8 и int4, дистилляция знаний, прунинг и ускорение инференса.
Урок: Квантование, дистилляция и быстрый инференс за 7 минут 7 мин