Логистическая регрессия в деталях
Вопрос
Расскажите, как устроена и обучается логистическая регрессия, почему она до сих пор популярна в проде и где её ограничения.
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Модель логарифма шансов, сигмоида, log loss как MLE Бернулли
Выпуклая задача: градиентные методы или Ньютон (IRLS), без локальных минимумов
Интерпретация весов через отношение шансов
Плюсы: скорость, калибровка, стабильность, требования регуляторов
Ограничения: линейная граница, нужна инженерия признаков, чувствительность к масштабу
Что могут спросить следом
- Что будет при идеально разделимых данных без регуляризации?
- Как сделать вероятности логрегрессии честными после undersampling?
Разбор
Логистическая регрессия моделирует логарифм шансов линейной функцией признаков, вероятность получается сигмоидой. Обучение это максимизация правдоподобия Бернулли, то есть минимизация log loss; задача выпукла, поэтому решается надёжно градиентными методами, L-BFGS или методом Ньютона (IRLS). Веса интерпретируются через отношение шансов: e^w показывает, во сколько раз меняются шансы при росте признака на единицу. В проде её любят за скорость, предсказуемость, хорошо откалиброванные вероятности и понятность, а в кредитном скоринге её объяснимость часто требует регулятор, отсюда классические скоркарты с WoE-кодированием. Ограничения: граница решений линейна, нелинейности и взаимодействия приходится закладывать признаками; при идеально разделимых данных без регуляризации веса уходят в бесконечность; чувствительна к масштабу и выбросам в признаках.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.