Выбор ответа Senior Эмбеддинги и fine-tuning обновлено
Контрастивное обучение
Вопрос
Как обучают модели эмбеддингов предложений для поиска (например, на парах вопрос-ответ)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Контрастивная потеря (InfoNCE): сблизить правильные пары, отдалить остальные в батче. Для батча пар (qᵢ, dᵢ) считают матрицу похожестей, и для каждого вопроса правильный ответ должен выиграть у ответов других пар: это кросс-энтропия по строкам матрицы с температурой.
Варианты ответа
- MSE между эмбеддингом предложения и one-hot меткой его пары в обучающей выборке
- Классификация каждого предложения в отдельный класс с softmax на миллионы классов
- Обучение без пар, только на одиночных текстах автоэнкодером с восстановлением слов
- Контрастивная потеря (InfoNCE): сблизить правильные пары, отдалить остальные в батчеправильный ответ
Разбор
Для батча пар (qᵢ, dᵢ) считают матрицу похожестей, и для каждого вопроса правильный ответ должен выиграть у ответов других пар: это кросс-энтропия по строкам матрицы с температурой. Чем больше батч, тем больше негативов. Трудные негативы (hard negatives) заметно улучшают качество. Так же обучен CLIP для текстов и картинок.
- MSE с one-hot не учит близости.
- Класс на предложение не обобщается.
- Автоэнкодеры дают эмбеддинги хуже для поиска.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.