Вопросы по Математика для ML
Линейная алгебра, производные, оптимизация, вероятность и теория информации ровно в том объёме, который спрашивают на собесе DS и ML-инженера. Учит не только формулам, но и умению посчитать градиент, Байеса или KL руками и объяснить, где это живёт в моделях.
Проверьте себя: тест по математике для ML
20 вопросов, 10 минут, уровень junior, middle или senior
Векторы и матрицы
Скалярное произведение, нормы, умножение матриц, ранг, обратная матрица и где всё это в ML.
Урок: Векторы и матрицы для ML за 6 минут 6 мин- Косинусная близость
- Решить систему методом Гаусса
- Умножение матриц на списках
- Косинусная близость против евклидова расстояния
- Скалярное произведение равно нулю
- Определитель и произведение 2×2
- Посчитайте скалярное произведение и норму
- Линейная независимость
Ещё 11 вопросов и задач
Собственные значения и SVD
Собственные векторы, разложение симметричных матриц, SVD, низкоранговые приближения и связь с PCA.
Урок: Собственные значения, SVD и PCA за 7 минут 7 мин- Собственные значения матрицы 2×2
- Сколько компонент оставить
- Степенной метод
- Число обусловленности
- Что такое собственный вектор
- Доля объяснённой дисперсии
- Собственные значения матрицы 2×2
- Лучшее низкоранговое приближение
Ещё 11 вопросов и задач
Производные и градиент
Производная, частные производные, градиент, якобиан, гессиан и численная проверка градиента.
Урок: Производные, градиент и гессиан за 6 минут 6 минЦепное правило и autodiff
Цепное правило, вычислительный граф, обратный режим дифференцирования и затухание градиентов.
Урок: Цепное правило и backprop за 6 минут 6 минГрадиентный спуск и выпуклость
Шаг градиентного спуска, learning rate, выпуклые функции, седловые точки и метод Ньютона.
Урок: Градиентный спуск и выпуклость за 6 минут 6 минSGD, momentum и Adam
Мини-батчи, эпохи, momentum, RMSProp, Adam, AdamW и расписания learning rate.
Урок: SGD, momentum и Adam за 7 минут 7 минВероятность и Байес
Условная вероятность, независимость, формула полной вероятности, Байес, матожидание и дисперсия.
Урок: Условная вероятность и Байес за 6 минут 6 минРаспределения, MLE и MAP
Бернулли, биномиальное, Пуассона, нормальное, правдоподобие, MLE, MAP и связь с функциями потерь.
Урок: Распределения, MLE и MAP за 7 минут 7 минЭнтропия и KL
Энтропия, кросс-энтропия, KL-дивергенция, взаимная информация и перплексия.
Урок: Энтропия, кросс-энтропия и KL за 6 минут 6 мин