Как выбрать эмбеддинг-модель
Вопрос
Вам нужно выбрать эмбеддинг-модель для поиска по русскоязычной базе знаний. Как будете выбирать?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Собрать свой оценочный набор: запросы и релевантные документы
Кандидаты: мультиязычные модели, публичные рейтинги только как отбор
Метрики recall@k и MRR на своём наборе
Учесть лимит длины входа, размерность, скорость и стоимость
Учесть требования к данным: API или своя модель в контуре
Проверить префиксы и метрику, на которых обучена модель
Что могут спросить следом
- Сколько примеров нужно в оценочном наборе?
- Когда стоит дообучать эмбеддинг-модель?
Разбор
Образцовый ответ: «Публичные рейтинги вроде MTEB использую только чтобы отобрать 3-5 кандидатов с поддержкой русского. Решает собственный набор: 100-300 реальных запросов из поиска или поддержки, для каждого размеченные релевантные документы. Индексирую базу каждой моделью с её префиксами и метрикой, считаю recall@10 и MRR. Дальше смотрю на практичность: лимит длины входа против моих чанков, размерность и память индекса, скорость кодирования, цену. Если данные нельзя отдавать наружу, остаются модели, которые можно поднять у себя. Дообучение рассматриваю, только если лучший кандидат всё равно плох на доменной лексике и есть пары для обучения».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.