Выбор ответа Middle Валидация и утечки обновлено
Grid search против random search
Вопрос
Почему random search часто эффективнее grid search при одинаковом бюджете?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Важны обычно лишь несколько гиперпараметров, а случайный поиск пробует больше значений каждого. При сетке 5×5 каждый параметр принимает только 5 значений.
Варианты ответа
- Random search гарантированно находит глобальный оптимум при достаточном числе итераций
- Grid search не работает для непрерывных параметров вроде learning rate и регуляризации
- Важны обычно лишь несколько гиперпараметров, а случайный поиск пробует больше значений каждогоправильный ответ
- Random search не требует валидации: оценку даёт сама случайность выбора точек
Разбор
При сетке 5×5 каждый параметр принимает только 5 значений. 25 случайных точек дают 25 разных значений важного параметра. Ещё лучше байесовская оптимизация (Optuna, TPE): она учится на прошлых попытках. Важно задавать lr и регуляризацию в логарифмической шкале.
- Гарантий глобального оптимума нет ни у кого.
- Сетку можно построить и по непрерывному параметру, просто дискретно.
- Валидация нужна для любого поиска.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.