CLIP
Вопрос
Как устроен CLIP?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Два энкодера (картинки и текста) обучены контрастивно на сотнях миллионов пар картинка-подпись так, чтобы эмбеддинги парных объектов были близки. Позволяет zero-shot классификацию (сравнить картинку с текстами «фото кошки», «фото собаки») и поиск картинок по тексту.
Разбор
Два энкодера (картинки и текста) обучены контрастивно на сотнях миллионов пар картинка-подпись так, чтобы эмбеддинги парных объектов были близки. Позволяет zero-shot классификацию (сравнить картинку с текстами «фото кошки», «фото собаки») и поиск картинок по тексту.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.