Выбор ответа Senior Свёрточные сети обновлено
ViT против CNN
Вопрос
Чем Vision Transformer отличается от CNN и когда он выигрывает?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Патчи-токены и self-attention без встроенной локальности: на малых данных CNN лучше, при большом предобучении ViT. У CNN сильный индуктивный bias: локальность и разделение весов.
Варианты ответа
- ViT всегда лучше CNN на любых данных: attention с первого слоя видит всю картинку, поэтому большое предобучение ему не нужно
- ViT не использует обучаемые свёртки и веса: патчи сравниваются напрямую через скалярные произведения
- ViT работает только с чёрно-белыми картинками, потому что патчи кодируются одним каналом
- Патчи-токены и self-attention без встроенной локальности: на малых данных CNN лучше, при большом предобучении ViTправильный ответ
Разбор
У CNN сильный индуктивный bias: локальность и разделение весов. ViT должен выучить такие закономерности из данных, зато attention видит всю картинку с первого слоя. С большим предобучением (или дистилляцией и сильными аугментациями, как в DeiT) ViT и гибриды обходят CNN; современные CNN вроде ConvNeXt остаются конкурентными.
- Всегда лучше он не бывает.
- Параметров у ViT много: проекция патчей, attention и MLP обучаются.
- Цвет не ограничение.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.