Контрастивное обучение эмбеддингов
Вопрос
Как обучают эмбеддинг-модели для поиска?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Контрастивно: берут пары «запрос и релевантный текст», сближают их векторы и отдаляют от остальных текстов батча (in-batch negatives) и специально подобранных трудных негативов. Функция потерь типа InfoNCE. Качество сильно зависит от трудных негативов.
Разбор
Контрастивно: берут пары «запрос и релевантный текст», сближают их векторы и отдаляют от остальных текстов батча (in-batch negatives) и специально подобранных трудных негативов. Функция потерь типа InfoNCE. Качество сильно зависит от трудных негативов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.